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ABSTRACT 

This guide is designed to help Ontario's literacy 
program coordinators implement the Core Quality Standards in their 
literacy programs. It provides ideas about simple approaches to 
evaluation which they can use. The first part of the guide discusses 
what program evaluation is and what it can do for the program 
coordinator. The second part describes the six steps involved in 
evaluating a literacy program, using the core quality standards. The 
steps are as follows: (1) get started; (2) define features and 
evidence for the standards for one's program; (3) gather information; 
(4) identify what it means for one's program; (5) take action; and 
(6) review, revise, and update. Some ideas are discussed for how each 
step can be used. Worksheets for each step are appended. These 
full-size copies are suitable for reproduction or revision. A French 
language version of the guide is included. (YLB) 
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Introduction and Purpose of This Guide 



The Core Quality Standards for literacy programs in Ontario were approved by the 
Board of Directors of the Ontario Training and Adjustment Board (OTAB) in 
June 1994. These standards were developed in consultation with members of the 
literacy community in Ontario. They represent different types of quality which were 
identified through these consultations. The Core Quality Standards represent a tool 
for literacy programs in Ontario to use in reviewing and enhancing the quality and 
impact of their programs. 

The purpose of this Guide is to provide you with some ideas about simple 
approaches to evaluation which you can use yourself. It does not present a formula 
telling you how you should evaluate. Instead, it provides ideas for how you can 
identify and address those issues which you feel are most important to your 
program. It provides ideas for how you can use program evaluation as a tool to 
enhance the quality and impact of your program in addressing the literacy needs of 
learners in your program and in your community. 

During 1994 and early 1995, 13 pilot evaluation projects were funded to develop 
features and gather evidence for each of the standards in order to evaluate their own 
programs. At least one pilot was supported in each literacy delivery sector and in 
each cultural stream. This Guide takes into account the experiences of the pilot 
projects. 

The standards apply to all literacy programs. But there is no single way to use the 
standards or to do program evaluation. For example, there are differences across 
literacy delivery sectors as well among cultural streams. And all programs are 
unique in some respects, operating in different contexts with different priorities and 
specific needs for information. The pilot projects had many aspects in common, but 
they took varying approaches to defining and using the standards. 

It is up to you to decide which standards are most important to your program. You 
can decide which features of the standard are of particular relevance and importance 
to your program. Please remember that the purpose of evaluation is to assist you in 
increasing the effectiveness of your program. 

What is important is that you do something. There is no cookbook for useful 
program evaluation. It is up to you to decide what information would be most 
helpful to you so you can operate your program at the highest possible level of 
quality, making the most difference to your learners. The purpose of this Guide is to 
provide you with some ideas for thinking about quality and for doing your own 
evaluation. 

1 
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What is Program Evaluation? 
What Can It Do for You? 



1 . What is Program Evaluation? 

Program evaluation can be defined as: 

A systematic approach to asking questions about what your program is 
doing and providing evidence of what it is accomplishing in order to 
provide guidance for future direction. 

Program evaluation can address three basic questions about your program: 



a. What is happening? 

b. Why? 

c. What does it mean? 



a. What is Happening? 

"What is happening?" questions focus on what your program is doing. For example, 
how many learners are participating in your program? Are they representative of 
your target population? What types of programs do you provide and how are they 
being used? How much instructional time is actually being provided? How are 
learners involved in planning their own learning, as well as with the program in 
general? 

But while it is important to document what your program is doing, it is particularly 
important to be able to identify the outcomes which result from what you do. For 
example, do learners improve their literacy skills and abilities as a result of 
participating in your program? In what ways? What other forms of benefits do they 
receive? 



b. Why? 

"Why" questions focus on why your activities and outcomes are occurring. What are 
the reasons for your "successes/* as well as for your problems? 
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For example, why is it easier for you to attract certain kinds of learners, but not 
others? Why do some learners do better than others? What teaching approaches 
work best, and in what situations? Why do people leave your program? Why do 
your tutors feel that they need more training or assistance? Why did your outreach 
work very well or perhaps not as well as you had hoped? 



c. What Does It Mean? 

"What does it mean?" The only point to evaluation is to use it in some way. How 
can you use what you have learned to improve the quality and effectiveness of your 
program? 

For example, if you identified problems with some of your activities, how can you 
improve them? If too many learners drop out of your program, what can you do to 
assist them in staying? Are there ways in which you can improve your teacher or 
tutor training, or support them better? What else can you do to assist learners with 
special needs? How can you build upon what is working well? Can you use 
evidence of your successes to assist your funders and community partners in 
continuing to provide support for literacy programs? 



r 



Informal Evaluation Activities 

We all do "evaluation" informally, making use of our own observations and anecdotal 
information. Some literacy programs have also carried out more extensive evaluation 
activities. Information from these three sources can be invaluable in giving you an indication 
of how your program is doing. 

But as the report of the Core Literacy pilot project indicated, there can be limit ations to 
informal input. This pilot study found that its five participating community-bast d literacy 
programs tended to get input from learners, tutors, and other sources only infrequently or in 
special circumstances. Most of the evidence consisted of subjective views of staff, 
representing the "eyes" of just one stakeholder group with a specific interest. 

The report of this pilot concluded that the programs need a more systematic approach to data 
and information collection in order to gain a perspective of their programs which is truly 
representative of the views and experiences of all stakeholders. 
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2. What Can Evaluation Do for You? 

You can use program evaluation to assist you in a number of different ways: 

• To assist you in maintaining and improving the excellence of all aspects of 
your program. For example, you can identify how well your program is 
improving the literacy skills of learners and assisting them in meeting their 
goals. You can use this information in deciding what you might do in order 
to increase your effectiveness. 

• To document the accomplishments and value of your program — to your 
learners and volunteers, to your community and other supporters, and to 
your funders. 

• To provide objective evidence to your staff and volunteers of what your 
program has achieved, through their efforts. 

• To explore specific questions you have, such as the effectiveness of 
alternative methods of instruction or how your outreach activities can be 
improved upon in order to attract more learners from your target groups. 

The primary purpose for program evaluation is to help you decide upon future 
directions. Evaluation is a basic part of good planning. How can you plan for the 
future without first considering what you have done and how well it has worked? 

OTAB expects literacy programs to do some form of evaluation. However, it is up 
to each program to decide what would help it the most and which standards are 
most important to it. 

Running an adult literacy program is a challenging task. Effective programs 
recognize that the needs of their learners and their community, indeed the context in 
which they operate, do not remain still. Effective programs are constantly 
questioning what they are doing and asking themselves what they could be doing 
differently in order to be even more effective. 
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3. What are The Core Quality Standards and 
What is Program Evaluation? 

The 18 standards reflect different aspects of quality in literacy programs. Each of 
the standards represent a general area of quality for you to develop specific 
questions about what your program is doing, to identify how well this is working, 
and to explore ways in which you might be able to be even more effective. 

Thus the standards provide a framework to help you to identify and to organize 
questions about the quality and impact of your program. 
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Steps to Evaluating Your Program 



There are six steps involved in evaluating your literacy program, using the core quality 
standards. These steps are listed in the following diagram: 




As this diagram suggests, you generally should take each step in order. But the steps are 
inter-related. For example, when you initially decide what questions and issues you 
wish to address in Step 1, you should think ahead to Steps 4 and 5 about what the 
findings may mean for your program and what action you are prepared to take. 

Sometimes you may need to work backwards through the steps as well. For example, 
when you identify the evidence you will need in Step 2 and figure out how you will 
obtain this information in Step 3, you may find that you were too ambitious in Step 1. In 
that case, you might wish to back up and rethink what information you will really need 
and what your major priorities are. Or as you get more specific in your plan, you may 
realize that you should involve people you did not identify at first. 

As the circular nature of the above diagram suggests, evaluation of your program and 
use of the standards is not a one-time event. Improving the quality of literacy programs 
should be ongoing. Think of evaluation as a tool which enables you to 
step back every so often in order to think about the impact of what you are doing. 

We discuss below some ideas for how you can use each step. Worksheets for each step 
are after the text. They provide full-size copies of these worksheets which you might 
wish to photocopy or to revise for your own use. 
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1 . Get Started 

The first step is critical to the ultimate success of your evaluation. First and 
foremost, it is essential that you ask the right questions. Otherwise, the information 
which you eventually receive will not be useful. 

As all the pilot projects learned, the greatest benefit of using the standards and 
evaluating your program is thinking about what quality means for your program and 
how you know what is, or is not, working as well as it could be. This structured 
thinking will let you come up with ideas about changes or improvements to your 
program — even without collecting any data! For example, the Tri-County Literacy 
Council found that their evaluation quickly became a planning exercise in which 
they identified a range of improvements, including improvements to the evaluation 
process itself. 

It is also essential for you to develop a process for managing the evaluation and to 
identify who specifically is responsible to make sure that it happens. Otherwise, it 
may get lost among other priorities and not take place as you had planned. 

You also should decide who needs to be involved in planning and in carrying out 
your evaluation. Having the right people involved can help ensure that you address 
the questions which are of particular interest to those involved in your program. A 
participatory process also helps to increase interest in the evaluation and to increase 
the commitment to act upon it. It helps to clarify that evaluation is something you 
do yourself rather than something which is done to you. 

Let's now review the major parts of the first step. 



Guide to Evaluation of Literacy Programs 



OTAB 



a. Set Up a Process for Coordinating Evaluation and Involving 
the Key People 



Worksheet 1-A can assist you with this 
component. 



Set up a group with responsibility for the 
evaluation 

If you already have a planning committee or 
equivalent for your program, this committee 
can be given responsibility for your 
evaluation. Otherwise, you will want to set 
up a specific committee. 

It is possible that your management 
committee or equivalent for your program 
could also take on responsibility for 
evaluation. However, if evaluation were 
simply added to a long list of other 

responsibilities, it might get lost amidst day-to-day crises and other priorities. 
Also, you should have more than just staff people involved in planning and in 
carrying out your evaluation. 

Who should be involved on your evaluation committee? You need to have at 
least one representative from each of the major groups of your program, 
including staff, instructors or tutors, other volunteers, and learners. You might 
sometimes want to have one or more persons from outside your program. For 
example, when your program works closely with another organization in your 
community, you might want someone from that organization to help you with 
your evaluation. You might want someone with experience in evaluation to 
assist you. You want your committee to be a working committee. 

Pilot Example: Alpha Huronie set up a small evaluation committee 
to oversee its evaluation activities. This committee consisted of a 
representative from the Centre, an instructor, a learner, an 
evaluation consultant and another resource person. Other pilot 
projects set up similar evaluation committees. 
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• Make sure that someone has lead responsibility 

Someone should be designated as the committee chair or coordinator — not 
necessarily to develop the evaluation plan and to carry it out, but to make sure 
that it happens. Otherwise, there is a danger of things falling by the wayside. 

• Identify key dates 

It is also important that the committee identify some key dates or milestones. 
This will help keep it on track, as well as let everyone know about the current 
status of the evaluation. In some cases, the program may direct the committee to 
complete its work by a certain date. It will then be the task of the committee to 
work backwards and to identify what interim steps must take place in order to 
meet this deadline. 

Worksheet 1-A suggests some interim steps for which you will want to set 
target dates. You can likely identify others as well. Please be sure that you have 
identified specific dates for the evaluation committee to report on its progress. 

• Involve others 

Your evaluation committee should be a small working group. But you will also 
want to give other people with an interest in your program an opportunity to 
help plan the evaluation in some way. This helps to generate interest in, and a 
commitment to, evaluation — and to acting on its findings and implications. 

Make a list of people you should consult in the development of your evaluation. 
This can include people within your program, including learners, volunteers, 
instructors, and staff people. As well, you might want to consider some 
outsiders who either have an interest in knowing about what your program is 
doing — such as members of the community, funders, other community or 
educational organizations — or who might be able to help you in some way. 

People can be involved in different ways. For example, you can interview some 
people to ask them their views on what is going well with the program and to 
identify questions they have which should be subject to evaluation. Or you can 
give people who are interested a chance to review or to discuss your proposed 
approach to evaluation. 
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Pilot Examples: The Ijzkehead Board of Education pilot set up a 
reference group of literacy providers outside the Board itself to 
review the proposed evaluation process. The Board also presented it 
for discussion at a meeting which involved instructors, 
administrators, and learners. 

Alpha Huronie's reference group consisted of five other 
Francophone literacy programs. These other programs received all 
of Alpha Huronie's evaluation reports, which gave them 
opportunities to comment on the process as well as to learn from 
the experiences of Alpha Huron ie 

Who specifically you involve may depend upon the specific focus of your 
evaluation. For example, if you decide to look at the nature of the links of your 
program with other organizations, it will be especially important to involve the 
other organizations in some way. Other questions might be of particular interest 
to the program's instructors. After you determine the focus of your evaluation, 
you may wish to reconsider who should be involved. 

• Clarify links with your program's decision-making body 

Your evaluation committee can identify implications from evaluation findings 
and make recommendations. But it does not have the authority to take action. 
Thus it is important that it report to your program's decision-making body. 
Depending upon the structure of your program, this may be a management 
committee, Board of Directors, or other governing body. 

Your governing body should maintain regular contact with the evaluation 
committee. At a minimum, it should: 

• approve the overall approach for evaluation; 

• review progress in accordance with the dates which were identified 
above; and 

• have an opportunity to review and discuss preliminary findings. 

It has primary responsibility for considering implications of evaluation findings 
for your program and in deciding what changes should be made, 
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b. Identify Your Priorities for Evaluation 

The most important step in the evaluation of your program is deciding what to 
evaluate. In order to come up with useful answers, it is important that you first ask 
the right questions! Failure to ask the right questions is where most evaluations go 
wrong. 

You should be sure to iden' :fy what is most important to you, to your funders, and 
to the broader community. Programs do not have to evaluate everything at once. 
Decide which standards and which specific questions are most important to you 
now. Worksheet 1-B lists some steps you can take in deciding upon priorities for 
your evaluation. 

• Review the Core Quality Standards 

Become familiar with the 18 standards, referring to the Practitioner's Guide to 
the Accountability Framework or to the Checklist in Worksheet 2 in the back of 
this Guide. Discuss what each one means for your program. Even without 
collecting additional information, you probably should have a pretty good idea 
of where your program stands on 



each of the standards. When you 
review the standards, they may get 
you thinking about specific 
questions regarding your program. 
For example, when thinking about 
Standard 1 1 : Learning Materials, 
you may wonder about the 
appropriateness of the materials 
which you are using for some of 
your learners. 

Identify which standards seem to be 
most important for you at the 
present time. Worksheet 1-B 
provides a place for you to rate the 
Standards in terms of high, 
medium, or low priority to you, and 
then to indicate which ones you 
will focus on in your evaluation. 
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• Identify specific evaluation questions and concerns 

What questions do you have about your program? What is it you would like to 
know more about? For example, how well are your outreach activities working 
in attracting the range of learners you would like to have in your program? Do 
learners understand the commitments they need to make in order to advance 
their learning and achieve their goals? Would you like to know more 
specifically which aspects of your training for your practitioners or volunteers 
are most useful? What other components should you add? Is there something 
you know is not working well? What information would help you to understand 
why that is and to identify potential solutions to the problem? 

Or perhaps you have a good feeling for what your program is doing, but you 
would like to be able to document your achievements in order to convince 
others. For example, can you document that your program enables learners to 
advance their literacy skills, as well as other goals? Can you demonstrate that 
your program works together and complements other community and 
educational programs? That you are using the funds you receive from various 
sources in a responsible and cost-effective manner? 

How can you identify these evaluation questions? The standards represent broad 
areas of quality, which should suggest more specific questions of concern to 
your program. On a day-to-day basis, questions and concerns are bound to occur 
to members of the program. These concerns may even be documented, for 
example, in minutes of meetings. Your committee could speak to various people 
associated with the program, as well as with others familiar with it, and ask 
them to indicate what questions they have or what else they would like to know 
about what the program is accomplishing. You might want to start with a 
brainstorming process, and then narrow your list down to questions of particular 
importance. 

In deciding what to evaluate, please think ahead. Of the kinds of information 
you could gather, what would be most helpful to you? Try to anticipate what 
you could do if you had this information. For example, would better information 
about the characteristics of your learners and the problems they face assist you 
perhaps in modifying your outreach activities? Or in the way you assist learners 
with special needs? 

Pilot Examples: The pilot projects, in keeping with their mandate, 
tended to look at the full range of standards. But some focused on 
specific issues of concern to them. For example, the North York Board 
of Education focused specifically at identifying means of ongoing 
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learner assessment. The Lambton County evaluation looked primarily at 
how well the model of an integrated approach to literacy delivery 
involving four literacy providers in the county was working. 

Worksheet 1-C provides a place for 
you to write down your evaluation 
questions, which standards they 
relate to, and how you would be 
able to use the information you 
expect to receive. 

c. Get Help 

Deciding which questions to address is 
the most difficult — and the most 
important — part of evaluation. Many 
of the evaluation pilots, for example, 
found this issue difficult. 

It is often helpful to get someone 
slightly removed from your program to 
act as a facilitator in helping you during 
Step 1 in order to sort out your most important questions. Who could act as a 
facilitator? It can be someone from another literacy program or someone from a 
different community program who knows something about your program and who 
preferably has some experience in evaluation. It could be someone from a different 
department if you are a school program, perhaps a Board member if you are a com- 
munity program, an evaluation or organizational development specialist, or your 
OTAB Literacy and Basic Skills Section Coordinator. Do not hesitate to seek help, 
especially if you are finding it difficult to begin. 

d. Make a Start! 

As noted earlier, you do not need to address ail standards at once. Your evaluation 
does not have to be "perfect" What is important is that you get started. You can 
always add refinements later on, if necessary. 

Remember that the purpose of evaluation is not to make a judgement about your 
program. It is to provide you with ideas for increasing the quality and effectiveness 
of what you are doing. You may be doing a considerable amount of evaluation 
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activity already. In that case, evaluation mainly may be a matter of documenting 
what you are doing or being a bit more systematic in your efforts. 

2. Define Features and Evidence for the Standards 
for Your Program 

a. Program Features 

The core quality standards are broad statements of how a literacy program should be 
working. They provide an overall framework or basis for thinking about the 
meaning of quality in your program. 

In order to use a standard as a basis for evaluation, it is first necessary to identify 
the specific components of the standard for your program. A feature is a 
characteristic of the program. The features of a standard describe the ways in which 
a standard is present in a program. Standards are general statements of good 
practices. Features are more specific descriptions of what they mean in a program. 

One way of identifying appropriate features is to ask what would be taking place in 
your program if your program were at a high level of quality. For example, 
Standard 3: Program Commitment to Learners states that: "A quality literacy 
program values, plans for, and provides opportunities for learners to increase literacy 
and numeracy skills, life skills, critical thinking, and problem-solving/* What does 
this standard mean? 

Pilot examples: The features developed by the Lakehead Board of 
Education and the Fort Erie Native Friendship Centre pilots indicate that 
a key aspect of this standard is the improvement of the skills of learners in 
reading, writing, and numeracy. This feature goes to the heart of what 
literacy programs are about. In addition, features of a number of pilot 
projects indicate that this standard also speaks to assisting learners with the 
development of other related skills, such as critical thinking and 
problemsolving. Some pilots have also identified a variety of other factors 
or features related to their program's delivering on their commitment to its 
learners. 

Standard 8 refers to quality in the assessment of learning. What are the key aspects 
or features of this standard? The first aspect which most of the pilot projects 
identified is that assessment actually takes place on a regular basis. Some pilots 
indicated what forms of assessment should be used. Pilot projects identified both 
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informal and formal methods of assessment, depending upon the nature of the 
program or level of the learners. Other features of a quality approach to assessment 
which the pilots identified include factors such as the involvement of learners and 
methods which contribute to learner development. 

How can you go about developing features of the quality standards for your 
program? This stage requires considerable thought about what quality really means 
for your program, what it should be doing, and what should be its outcomes. This 
analysis cannot be done in one sitting. As the pilot projects learned, it is difficult to 
develop meaningful indicators of quality on just one occasion. 

For the purposes of developing features for evaluation, it is useful for your 
evaluation committee to brainstorm about indicators of quality for your program. 
You should involve other members of the program, both to get ideas and also to 
develop a consensus. It may be helpful to review what others have done in defining 
indicators of quality. Worksheet 2 can be useful as a starting point. The work of the 
pilot projects and of other literacy programs also may give you ideas. But try to 
think through the meaning of quality and express it in your own terms. 

For example, what does it mean to have quality practitioner training in your 
program (Standard 12)? What level and type of ongoing training or professional 
development is needed in your program to ensure a high level of quality in your 
instructors? Your approach to defining features of quality for this standard may vary 
somewhat according to your literacy sector. 



Some Tips in Developing Features 

• Keep things simple. In thinking about the meaning of a standard, you may start with a long 
list of possible features. But try to group these together. Rarely should you need to have 
more than about three features for a standard. 

• In identifying quality features for your program, you should consider what you do. (For 
example, do you do outreach to attract learners?) How well have you done it? (Are your 
outreach strategies appropriate for the target groups you are trying to reach?) How effective 
are these activities? (Have you succeeded in attracting the learners you were aiming at?) 

• Features can be specific to your program. But make sure that they are consistent with the 
actual statement of the standard. 
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Pilot examples: College and school boards, such as the Lakekead Board of 
Education pilot which use professional staff, are more likely to identify 
basic qualifications of staff before they are hired or begin to teach. 
Community programs using volunteer tutors are more likely to emphasize 
the training they provide themselves. Some of the pilot programs, such as 
Sheridan College, have considered what it means on an ongoing basis for 
instructors to be competent and carry out regular reviews. Other pilots have 
emphasized the provision of training and other forms of support. 

Technically, if you can provide evidence in support of the features you have 
identified, then you have addressed a minimum level of quality. But quality is a 
matter of degree. There can never be too much quality, although practical 
limitations, such as resources, may restrict what you are able to do. The major 
purpose of using the standards, which involves specifying features or characteristics 
of quality for your program, is to focus your attention on the quality of what you 
are doing and on possible ways of making further improvements. 

b. Evidence 

How do you know if your features are in place? You need evidence to document it. 
Evidence tells you, and others, how you know the extent of the quality of what your 
program is doing and accomplishing for each feature of a standard. 

In identifying the evidence you will need, consider each feature which you have 
identified. Ask what you need to know in order to be able to document what has 
happened. For example, what form of evidence will you need to document 
improvements of skills of learners in reading, writing, and numeracy? 

Many kinds of evidence are straightforward, especially if you keep good program 
records. For example, in most cases it should not be difficult to identify whether or 
not your program has a mission statement and how it is distributed, the kinds of 
contacts your program has with other community groups, what forms of practitioner 
training are provided, whether new learners are assessed when they enter the 
program and how often follow-up assessments of their progress are done, whether 
learning goals are identified. 

For most features, however, more than one form of evidence and from different 
sources will be needed. For example, one feature of a learner-centred approach is 
that learners are supported in taking control of their own learning. The types of 
evidence which the pilot projects identified for this feature include: 
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• documentation that learners are involved in the development of their 
learning plans; 

• curriculum and instructor guidelines about involving learners; and 

• the existence of processes permitting learners to comment on their 
instruction and other aspects of the program. 

Much of this evidence may be in your program files, but you probably would need 
to supplement it with comments from learners and instructors. 

Evidence can be "objective" — hard facts indicating that something has happened 
— or subjective — views and opinions. It can be quantitative — something you 
can count, such as numbers of students or attendance rates — or qualitative — 
something which cannot be counted, such as a description of how learning materials 
are selected. 

In many cases, you will have stronger evidence if you can say "how much?" or 
"how many," rather than providing a general statement — but only where it makes 
sense and when it is possible. For example, actual records of attendance, provided 
that they are well maintained, will give you a better picture of your program than 
estimates made later. Similarly, if you are able to document the extent to which 
skills have been developed and among how many of your learners, this statistic will 
be a better indication of learner progress than a statement that most of your learners 
"met their goals." Stronger evidence, such as in these examples, will provide a 
better sense of what you have accomplished and what else you should do. 

But sometimes "softer" evidence, alone or in combination, may be more meaningful. 
For example, your program files should indicate when learners are involved in 
setting their goals or in developing their learning plans. Minutes of meetings might 
indicate if learners were involved in the selection of learning materials or in the 
program's planning and other activities. It would be helpful to complement this 
documentation with evidence coming from learners themselves about how they were 
involved and whether or not they felt they had an opportunity for meaningful input. 
Instructors also may be asked to describe how they involve learneis in the 
development of learning plans. This descriptive information can be helpful in 
identifying the "whys" and understanding the reasons for what has happened. This 
information can be essential in coming up with ideas about changes to enhance the 
quality and impact of your program. 

The Checklist in Worksheet 2 suggests forms of evidence which may be used to 
identify the existence of features of each standard. However, you should use the 



Guide to Evaluation of Literacy Programs 



OTAB 



evidence listed on the Checklist simply as ideas or examples. You will probably 
want to modify them in some way, make them more specific, or replace them with 
other forms of evidence. The kinds of evidence which would be appropriate for each 
program tend to be more specific than the features of the standards themselves. Thus 
it would be appropriate for there to be variation in the types of evidence used from 
program to program. 

Pilot example: The Fort Erie pilot, in keeping with the particular 
characteristics of its community and its learners, took into account Native 
culture, such as the use of a holistic approach in learning methods, as 
evidence for a number of different features. 

Remember that evidence can come from different sources in different ways. There 
will often be more than one way of obtaining the same form of evidence. For 
example, a variety of sources can be used to gather evidence of learner involvement 
in identifying their learning objectives. Evidence is different from the methods you 
use to obtain it. Evidence is how you know that your features are in place. 



c. Using Features and Evidence 
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Worksheet 2 provides you with a 
checklist so you can note the features 
and evidence you \ we identified for 
the standards which you have chosen to 
work with. It also provides you with a 
place to identify the sources of 
information or method by which you 
will be able to obtain the needed 
evidence. 

The features you have identified 
provide you with a basis for asking 
questions about the quality of your 
program. Once you obtain the evidence 
you have identified, you will be in a 
position to know how you are doing. 



Worfcdwtt 2: Owcklkt of frndrntm «td KvfcWmt Cor Your frogram 



Working through the standards may 
result in a long list of features and 
evidence. It may appear that you will have to collect much information. Please 
remember that you do not have to address all the standards at once. 
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And you will probably find that the same feature will sometimes apply to more than 
one standard. Different aspects of quality in literacy programs often need to relate to 
one another and cannot always be looked at in isolation. Similarly, the same 
evidence may support more than one feature. For example, a number of different 
standards refer to involvement of learners in both their own learning as well as in 
planning and evaluation of overall program activities (for example, the development 
of the program mission). And, as we discuss under the next step, the same method 
(for example, a group discussion or interviews with learners) may be able to provide 
you with documentation regarding many different kinds of evidence regarding many 
different standards. 

Thus the task of using the standards may not be as overwhelming as it may first 
appear. Indeed, you may find that you can address some additional standards as well 
as the ones you initially identified in Step 1 . 

Also, if you find it helpful, you may wish to reorder or group similar standards 
together. 

Pilot Examples: The pilot projects of the BEST project, of the Carleton 
Separate School Board, and of La Cite Collegiate regrouped or 
reorganized the standards in different ways in order to make them as easy 
as possible for them to work with. 

3. Gather Information 

How can you obtain the evidence you said you needed? 

There are many possible sources of evidence and potential methods you can use to 
gather information. No single method is right or wrong by itself. The best method 
for you to use is the simplest approach which will give you the evidence you need 
to determine the quality of what is happening in your program. 

Following are some guidelines which may assist you in deciding your approach to 
collecting your information: 

• Keep it simple 

You do not have to use complex methods or to engage in massive data 
collection. You do not have to collect "p; fecf information — just enough to 
give you a sense of what is happening and ideas about what else you can do. 
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Your objective is to obtain information which you can use. Before collecting 
any data, distinguish "need to know" from "nice to know" information. 

Research and evaluation can become complicated, requiring expertise and 
considerable time and effort. This expertise is sometimes appropriate, but if you 
are doing it yourself, you want to keep what you are doing as easy and as 
focused as possible. The pilot projects had help from researchers in considering 
all the standards at once. Many of them engaged in massive amounts of data 
collection, resulting in information which was sometimes hard to consolidate 
and interpret and in very lengthy reports. You can learn from this experience 
and keep your evaluation activities as focused as possible. 

• Start with existing information 

You should have considerable existing information which you can use for 
evaluation purposes. As a starting point, you should identify what information 
you should be maintaining in your records and how it should be kept. For 
example, your program records should indicate who is in your program, some of 
their major characteristics (for example, your target group representation), which 
specific programs are used, attendance, learning progress and accomplishments. 
Keep records of regular discussions you have with learners or instructors. Plan 
meetings to discuss where you stand on features of the standards. Reviewing 
this information can be invaluable. 

In many cases, a review of your existing documentation is all you need in order 
to provide you with required evidence. In other cases, this review will be a 
starting point. You will probably identify ways in which you can improve your 
program records, for example by keeping better track of your learners* 
characteristics. You should always review what information you already have 
before collecting new data. This review enables you to keep any new data 
collection as simple as possible. 

• Sampling 

A common myth is that you have to have large samples in order to obtain 
useful, reliable information. Usually small samples are all that is necessary. For 
example, if you want to find out why people are leaving your program, you 
only need to speak to a few people rather than to everyone who has left. If you 
want to determine how learning plans are developed and how progress is 
assessed, you do not have to review the plans of all learners, but only of a few. 
If you want to find out how learners feel about the program, you do not need to 
survey everyone. Indeed, it is usually easier to control the quality of a survey 
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when the numbers are small. Just be sure that your sample is representative of 
the larger group. This sampling is usually done by a random or systematic 
selection. For example, you could interview the first five learners every month 
who have left your program or every eighth name on a list of your tutors. 

A possible disadvantage of sampling is that you may want to offer everyone a 
chance to participate in the evaluation in some way. For this reason, you 
sometimes may want to ask a few questions of everyone, or to give everyone an 
opportunity to make comments if they wish. You can still reserve more 
extensive questioning for a smaller number of people, if it is necessary. 

• Less is more 

As noted above, identify what information you really need. If you use a survey, 
ask as few questions as possible. Go to as few people as you really need to get 
the information you are looking for. This tactic will be much easier for you to 
carry out. Later, it will also be easier for you to analyze and to interpret the 
information that you do collect. You have spoken to enough people when 
speaking to others does not give you any new information. Generally, you will 
want to go to more than one source to obtain your evidence, such as to both 
learners and instructors. But this process does not have to be complicated. When 
your initial findings are inconclusive or when they raise other questions, you can 
always collect additional information if necessary. 

• Make evaluation ongoing 

There is value in occasionally stepping back. Examine how you are doing and 
the evidence you have; identify what you could do differently. But questions 
about quality should be ongoing. The more you do on an ongoing basis, the less 
need for special data collection. For example, you might consider reviewing a 
half dozen learning plans every month, perhaps speaking briefly with the learner 
and the instructor about their progress, any problems they have faced, and what 
might help. If you do this review regularly, then there may be very little new 
data you will need to collect in a special evaluation study. 

Build evaluation and quality assessment into your ongoing activities. For 
example, consider setting aside time for discussion of evaluation questions and 
evidence at regular meetingb for discussion with learners about specific topics. If 
you keep some sort of record of these discussions, then "evaluation" and 
identification of your progress on standards may be a matter of reviewing the 
information you have already obtained and discussed. 



2126 



Guide to Evaluation of Literacy Programs 



OTAB 



• Get help, if necessary 

Get help, if necessary, in sorting through options and setting priorities. Someone 
slightly removed from your program may be able to help you in deciding what 
information you really need to collect and to provide you with some ideas about 
how to go about doing it. For example, your OTAB Literacy and Basic Skills 
Section Coordinator, other literacy programs such as the pilots projects, other 
community programs with experience in evaluation, or locally based researchers 
may be able to assist you. 



a. Methods for Evaluation 

The pilot projects used the following methods for evaluation in their work: 

o Review of program records 

o Observation 

° Interviews 

o Group discussions 

° Surveys 

Following is a brief discussion of these methods. 

• Review of program records 

V/ e have already discussed the value of existing information for evaluation on 
page 20. Good documentation is the easiest, and sometimes the only, way to be 
able to provide evidence of program activities, how they are used, and their 
accomplishments. A common theme in many of the pilot project evaluation 
reports is that better program records would make evaluation much easier and 
provide the program with useful information. 

A variety of different forms of records can be used for evaluation. 

Pilot example: Records used by the Tri County Literacy Council in 
its pilot evaluation include: student and tutor files, staff files and 
reports, publications such as brochures and newsletters, the 
telephone message book financial accounts, written policies, and 
procedures. 
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• Observation 

Literacy program staff regularly use observation as one way of getting a sense 
of how well their program is working. With a bit of structure, observation can 
also be used to address some evaluation questions. 

Observation, for example, can be used to explore questions such as: 

• the extent to which learners participate in the literacy program's 
planning and other activities; 

• the manner in which the program shows respect for learners; 

• how support is provided to learners; 

• accessibility and the provision of assistance for learners with special 
needs; 

• the manner in which staff and learners interact with one another; and 

• how records such as attendance logs are filled out. 

While informal observation can be useful in raising issues, observation is 
usually most meaningful when you identify in advance specifically what you are 
looking for and when you have developed a format for observers to record what 
they see. For example, if you are examining learner participation in program 
planning, you might want to identify how many learners are present, but you 
also might want to identify some indicators of their "meaningful participation." 
Are they encouraged to make comments? Are their comments taken into 
account? Observation can be done by outsiders to the program, by staff, by 
volunteers, and also by learners, provided that the observers receive some 
training and initial guidance. 

Pilot example: Le Conseil des ecoles separees catholiques du 
district de Sudbury used observation of learners, among other 
methods, in its pilot evaluation. A written list of questions to identify 
through observation was identified in advance. This pilot also gave 
learners a choice of being interviewed or responding to a 
questionnaire. Most preferred to be interviewed. 
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• Interviews 

Interviews can be carried out in person or over the telephone. They can range 
from informal conversations to using a structured questionnaire. Interviews have 
a number of strengths. Talking to another person is the most common way in 
which people communicate with one another. When people do not understand 
what your questions mean, it is possible to explain. It is possible to probe, that 
is to ask people to expand upon their comments and the reasons for what they 
say. It may be possible to draw out people who are shy or not very vocal and 
encourage them to comment in their own words. Individual interviews are better 
than group settings for asking people about personal information they might not 
feel comfortable in discussing in front of others, such as the nature of their own 
progress. 

Individual interviews sometimes can require more effort or time than other 
forms of data gathering. There is a potential for the interviewer to ask leading or 
biased questions. This possibility can be minimized if you were to develop an 
interview guide or list of questions in advance and to provide some training and 
practice to the interviewers. 



Encouraging Full and Open Responses 

Participants in literacy and other social programs often feel reluctant to offer criticism of a 
program or its staff which is giving them a service they want. If you initially ask someone if 
they like your program, they are likely to say what they think you want to hear and tell you 
"yes" — even if they have some reservations. 

How can you encourage full, open and honest responses from learners? It depends partly on 
your attitude. If learners know about the purpose of the evaluation — to help improve the 
program and not to "get" anyone — and that their ideas, criticisms and suggestions are really 
wanted, you will involve them without threatening them. 

Also, you are best not asking yes or no questions, such as whether or not people like the 
program or their instructor, or whether they participated in setting their own goals. It is better to 
ask people to describe what has happened and to ask follow-up questions. This process can 
encourage people to open up. 

Also, think about who should be asking the questions. As a general rule, evaluation questions 
should be asked of learners by someone other than their own instructor or tutor or a staff person 
with whom they meet regularly. Get someone else to do the interview or to lead the focus 
group. This person could be someone else in your program. In some cases, you might want to 
consider getting someone outside your program to moderate a group discussion. 
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Interviews can be used to obtain the insights of a number of people, such as 
learners, volunteers, or instructors. You want to be sure that you talk with a 
representative sample of people. Interviews can also be used with "key 
informants" — specific individuals who are in a position to provide you with a 
certain kind of information. For example, you might wish to interview the 
person who developed the program's outreach campaign in order to learn how it 
was developed and implemented or to interview the person in a different 
educational or community organization who has the most contact with your 
program or with your learners. 



• Group discussions 

A focus group involves ?. small number of persons, usually seven to 12, engaged 
in a discussion on a particular topic of interest. Focus groups are led by a 
moderator whose role i«> to keep the discussion "focused" on the topic, while 
permitting a wide-ranging discussion. 

The focus group approach recognizes that people often form their opinions, 
beliefs, and decisions in a social context. It is often difficult for people to 
provide meaningful comment until they have a chance to think about an issue 
and discuss it with others. Thus, focus groups provide an excellent way of 
exploring attitudes and beliefs in depth. They provide an excellent opportunity 
to identify the reasons for people's experiences and views regarding the literacy 
program and to explore possible alternatives. 

Focus group moderators have a difficult task. They need to encourage 
participation by everyone. They tactfully need to keep one or two people from 
dominating the discussion and to draw out the quiet ones. Moderators need to 
encourage people to disagree with one another, and to encourage them to 
expand upon their initial comments and to explain the reasons for what they say. 
Moderators need to "focus" the discussion on the intended topic without leading 
or biasing what people say. A moderator should always have an interview guide, 
a list of general topics for discussion. As a rule, one should mainly ask 
openended questions which can not be answered with a "yes" or "no." 

Focus groups provide an opportunity to hear from many people in a short period 
of time. While the group context permits exploring many issues in detail, it is 
generally not a good setting to explore personal or individual experiences, and 
there is a danger in some cases of the group process encouraging conformity. 
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It is often possible to use a similar process to focus groups with larger groups. 
In a larger group, it is more difficult to focus the discussion and to give 
everyone an opportunity to participate, but it is still a way of getting useful 
information and ideas. Sometimes it is possible to divide the group into smaller 
"breakout" groups, to permit greater participation. Large group discussions are 
one of the best ways to give everyone who is interested a chance to express 
their views. 

• Surveys 

Surveys are perhaps the most common method used in evaluation. They were 
the most common method used by the evaluation pilots. 

Surveys can be the best way of getting "objective" information from a large 
number of people. Surveys generally involve written questionnaires which are 
mailed or given to people to complete. They can also be "interviewer 
administered," where the questions are asked by an interviewer in person or 
over the telephone. 

However, surveys tend to be misused and overused. For example, unless most of 
the questionnaires you distribute are returned, it is hard to know if the responses 
you do receive are representative of those people who do not respond. It is also 
difficult to word questions on a survey so that everyone understands them in the 
same way — and in the way you had intended. It can be difficult to decide 
which specific questions to ask and in what way so that they are not 
unintentionally misleading. Surveys can provide more "objective" and 
quantitative information than other means of asking questions, but their bias can 
be hidden in the questions and the way in which the survey is used. 

It may be difficult or impossible for people with limited literacy skills to answer 
written surveys. Sometimes, someone can read the questions to them. For people 
who are not used to responding in this way, however, more meaningful 
information may come when people can answer questions in their own words 
and when they have an opportunity to discuss what it means. 

When you use a survey, you should keep the questionnaire attractive, easy to 
answer, and with as few questions as possible. Only ask "need to know" 
questions. Take great care in deciding how to word your questions. Sometimes 
you can use or adapt questions which have worked for others. Most of the pilot 
evaluations used one form or another of a survey. And always pre-test your 
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questionnaire first. Pre-testing involves trying out a draft with a few people, 
asking them to explain how they understand and interpret the questions. Seeing 
what it looks like will help to give you the information you need. Expert 
researchers always pre-test questionnaires, and usually make at least some 
changes before finalizing them. 



Which method is best? 

There is no single right method. Each method has strengths and limitations. Choosing methods 
is often more an art than a science. Which methods you use depend very much upon your 
specific questions. But you might wish to consider the following general guidelines: 

• Start with your program records. Identify ways in which you can improve your records for 
the future to answer more of your evaluation questions. 

• Follow this up with some interviews with current and former learners, instructors and staff, 
and volunteers. Remember that interviews can be over the telephone or in person and that 
you usually do not need to talk to large numbers of people. 

• Set up a special meeting or use an existing setting, such as regular meetings of learners or 
instructors, in order to give everyone an opportunity to participate in some way. 

• Consider one or more focus groups when a group discussion may help identify the reasons 
for potential problems and possible solutions. 

• Use a survey if you need to hear from a large number of people and you feel that 
quantitative data will be most useful in understanding the context and reasons for what is 
happening. 
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b. Planning and carrying out your data collection 

Worksheet 3 provides a pJace for you 
to record some of the major steps in 
gathering your information: 



• Decide which methods you will 
use. You will probably want to 
use more than one method. 
Identify what evidence you 
expect each method to provide. 



• Develop a plan and timeframe 
for carrying out your data 
gathering. 



• Decide who will be involved 
and for what they will be 
responsible. 



• Develop the instrumentation, 
allowing time for this step. 
"Instrumentation" includes the 
questionnaire for a survey, the questions or interview guide for interviews or 
focus groups, and a checklist of what to identify through a review of pro- 
gram records or through observation. 

• Pre-test, review, and revise your instrumentation — particularly if you are 
using a written questionnaire. 

• Finally, collect the information you identified in accordance with your plan. 

4, Identify What It Means for Your Program 

a. Analyzing Your Data 

Once you have collected your "raw" data, you must figure out what it means. 
Whether you have quantitative data ("numbers") or qualitative data (general 
comments from interviews or group discussions, which may be difficult to count), 
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you may find that you have a large pile of paper. You need to transform this raw 
data into meaningful information. 

It is easiest when you know in advance what you are looking for. Data analysis is 
like detective work. In Step 1, you identified the major questions for your evaluation 
to address. Now use these questions as headings to group your findings. 

For example, when you are interested in determining how much learners learned or 
the progress they are making in the program, you might start by identifying the 
evidence you have of their progress. This evidence might come from program 
records, from what instructors and learners say about their progress, from 
observation of learner accomplishments, or from other concrete indicators of 
learner progress. Do you get a consistent picture from different sources of 
information? For example, do learners and program staff agree about whether the 
program gives them opportunities to identify their support needs? 

Then it is time to play detective, to look for the evidence you have gathered which 
suggests which factors contribute to progress, as well as those factors which may 
make it more difficult. What are some of the factors which seem to be different 
between learners who have made lots of progress and those who have made little? 
For example, is it the amount of time devoted to instruction? The instructional 
approach or materials used? Interest or commitment? Other characteristics of the 
learners? Previous experience of the learner? 
The instructors or nature of the match 
between learners and tutors? The use of 
supports for learners with special needs? 
Other factors? Which of these seem to be 
most important? Why? 

Worksheet 4 provides you with a format for 
listing the major findings, and the sources of 
information for these. 

• Quantitative 

Quantitative data are data which you can 
count. They most frequently come from 
program records (for example, your 
records on who is participating in the 
program, target group representation, 
attendance), and from surveys. 
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Quantitative data are generally easy to deal with. Start by computing totals for 
each item, and then calculating percentages. For example, if a question on your 
survey asked learners if they participated in setting their own goals, what 
percentage answered "yes?" 

The next step is to ask questions of your initial data. For example, if 60 percent 
of learners say that they participated in setting their goals, this means that some 
people did but others did not. Why is that? Are there other questions you can 
explore through further analysis which can help you understand the reason for 
your initial findings? For example, are there differences by program site (if you 
have more than one site), by instructor, by level of the learner, or by other 
factors? 



Tip — Consider the Median 

Hie most common way of referring to an "average" is to compute the "mean" by dividing the 
total by the number of people. This number, however, can be very misleading, especially when 
there are a small number of scores very different from most of the others. 

For example, if a small community has 95 people each earning $10,000 but 5 people earning 
$100,000 per year, the "average" income would be $14,500 — nearly 50% more that than of 
almost everyone in the community. This figure would not be meaningful. 

Similarly, if you have 50 people in your program, all of whom participated for 40 weeks over 
the last year except for 5 who left after the first week, your "average" participation rate would 
be 20 weeks — which is not true of anyone. 

The solution may be to use the median score. The median is the midpoint, with half the scores 
higher and half lower. In most cases, the median is a more useful statistic than the mean. In the 
above examples, the median income would be $10,000 and the median length of participation 
40 weeks. 

When the median and mean vary, there are probably some major differences you want to know 
about. It is also helpful to identify the high and low points. With big differences, the reasons for 
these may be more important than the actual "average." 



As suggested above, variations may be even more important than "average" 
responses. Ask yourself the reasons for these differences. For example, if some 
learners like the program more than others, are there other consistent 
differences? If some people stay in the program but others leave after a short 
time, is there anything you can identify which is different between the two 
groups? If, as in the previous example, 60 percent of learners say that they 
participated in setting their own goals while 90 percent of instructors or tutors 
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said that they involved the learners in setting goals, what is the reason for this 
discrepancy? 

• Qualitative Information 

Qualitative data consists of general comments or descriptions which cannot 
easily be counted. You may often start with many notes and it can be difficult at 
first to figure out how to organize them. 

Usually the best way to deal with qualitative data is to group your data under 
major themes or topics. For example, when you have notes from a group 
discussion about practitioner training, you should first group comments under 
broad topics raised, such as learning how to develop rapport with a new learner, 
assessing progress, helping learners develop learning goals, or working with 
learners with special needs. Then, under each topic area, organize comments 
which fit together, identifying differences, people who felt they would like more 
assistance in one area from those who feel that they have more than enough, for 
example. 

Be sure to record supporting arguments as well as specific points or "quotable 
quotations" which may help to illustrate a point. Numbers are not always so 
important with this kind of information. For example, even one or two 
comments identifying a mistake in the training materials, or conversely, how 
someone was able to directly apply something presented in the course, can be 
very useful information. 

Finally, try to identify the relative sense of importance among the various topics 
raised and the major points which stand out. Actually, you should do this with 
quantitative information as well. 

Sometimes, you may want to code open-ended, qualitative information into 
categories which you can then count. For example, suppose you are interested in 
why people leave your program and do a telephone survey with a number of 
people who have left, asking them to discuss, in their own words, their reasons 
for leaving. Even when people use their own words, you may be able to group 
similar comments together. 

In this example, depending of course upon what people actually say, potential 
categories might include: 

• the program didn't meet their needs; 



36 

31 



Guide to Evaluation of Literacy Programs 



OTAB 



• they didn't like the instructor; 

• they were not interested; 

• too difficult to arrange transportation or childcare; 

• they had more pressing problems; 

• they moved away; 

• they felt that they had accomplished their goals; or 

• they left to go to a different educational program. 

After coding comments into the above or other categories, you can count 
responses to determine the major reasons why people left the program. Be sure 
to save some comments which illustrate the above reasons. This information 
provides the "flavour" or context, helps you to understand what these categories 
mean, and can give you ideas for what you could do to assist other people in 
remaining in the program. 



b. Identifying What It Means 

The next, and most important step, is to decide what your findings mean for your 
program. Sometimes this step is obvious, for example where you have identified * 
specific problem. But often the implications are not quite so obvious. 

Look together at your findings from different sources and look for consistencies as 
well as for differences. For example, if most learners, but also instructors and 
program coordinators, say basically the same thing about how learners are involved 
in setting and reviewing their goals and in choosing learning materials, then you can 
have more confidence than if you only heard this from one source. Conversely, if 
you hear different things from different people, you will want to ask why. You may 
be able to take another look at your data and find some of the reasons for these 
differences. You may also wish to explore further at a later time. 

In drawing conclusions about what your findings mean, a useful device is to see if 
there are any other possible interpretations. If there are, see if you can come up with 
other evidence to support your position. For example, if you feel that participation 
in your program has helped to improve the self-esteem of participants, can someone 
question if this change resulted from other factors? Can you come up with evidence 
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demonstrating specifically how your program helped? Similarly, can someone 
question how much learners really improved their reading and writing skills? Do 
you have evidence documenting the progress of your learners/ 

Worksheet 4 provides a place for you to list the major implications of your findings 
for your program. Please note that a long list is not necessary. Even one or two 
good points can make the evaluation worthwhile. 

Identifying implications is as much an art as a science and can involve "going 
beyond the data." Sometimes it is easier for people not directly involved in the data 
collection to be able to recognize the key findings and what they mean. A 
facilitator, as in Step 1, may be useful in helping you to sort out the important 
findings from those which are less so and to help you identify key implications. 

This stage also is a good time to go back to the people whom you consulted in Step 
1 in order to review your findings. They can include people within your program, as 
well as possibly some supporters such as other community agencies. In this way, all 
can take part in identifying the key findings and implications for the program. This 
process of involvement also helps develop ownership in the findings and a 
commitment to act upon them. 



5. Take Action 

The major reason for using the core quality standards and for evaluating your 
program is to identify what you can do in the future to enhance the quality and 
impact of your activities. 

Developing an action plan takes off from where the previous step ends up, where 
you identified implications for your program of your evaluation findings Indeed, 
these two steps can be combined. But what is important in this step is that you 
move from general implications to identifying the specific actions you will take, 
along with the plans to put these actions into place. 



a. Identifying Action Steps 

Your findings will sometimes make it clear what you should do. For example, if 
you discover that learner goals are not recorded as part of their initial I assessment or 
if no one follows up with learners whose attendance has fallen behind what they had 
agreed to, you probably know exactly how to respond. 
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Perhaps more often, evaluation findings may suggest that you should do something, 
but there may be different ways of responding. For example, if you find that 
learners are not sure of the progress they are making, it could be that you should be 
using different means of assessment, or that there is a need for better 
communications. You may learn that practitioners need more assistance in assessing 
the progress of learners or in helping keep learners motivated who are falling 
behind. In this case, there can be a variety of ways of responding, such as through 
changes to your practitioner training or through other forms of support to your 
practitioners. 

However, you should not let the lack of a clear course of action keep you from 
doing something. We do not have to wait for absolute certainty to improve quality 
When it is apparent that some changes should be made, try something, and see if it 
works better. You can make changes later if that does not work so well. If you are 
unsure, you might want to try a new approach on a limited scale or for a limited 
period of time. For example, you might want to try a new approach to assessment or 
some new learning materials with a few learners, before using these techniques with 
everyone. 

Evaluation will not answer all your questions. Sometimes it raises more questions 
than answers. Indeed, the greatest benefit of evaluation is the thinking process It 
can direct your attention to matters which you might not have thought about 
otherwise. And when you think about how things are actually working and what you 
can do differently, solutions are likely to emerge. 

Evaluation findings should be used as starting points. Knowing what is happening 
with your program is essential, but it is not the only source of information you 
should use in deciding future plans. For example, you need to be aware of changes 
affecting your program, your resources, and new developments. You may wish to 
get more information from others, such as Alpha Ontario, OTAB, literacy networks 
and other literacy programs about how others have dealt with situations similar to ' 
what you are facing. For example, if you are having difficulty attracting or keeping 
learners from various equity groups in your program, how have others gone about 
it? If you discover limitations in the learning materials you are using, or the need 
for new materials, what else is available and have others found these to be helpful? 

While your evaluation committee may make recommendations, decisions about how 
to respond to the evaluation findings need to be made by the program's management 
committee, Board of Directors (for a community program) or equivalent. It is also a 
good idea to involve various members of your program. This process can help 
provide a range of ideas about how you can respond. And it can help develop 
support and commitment for action. 
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b. Following Through On Your Action Plans 

In deciding what action you should take, you need to go back to the evaluation 
questions and concerns which you first identified in Step 1. On Worksheet 1-C, you 
should have identified the questions which you expected the evaluation to address 
and how you thought you would be able to use the evaluation information. Also, 
consider the major findings and implications which you identified in Step 4 and 
listed on Worksheet 4. Sometimes the most important findings are unexpected. 

Acting upon evaluation rarely means turning your program upside down. In most 
cases, you only want to make a few changes at any one time. Indeed, you may find 
that you do not need to do much differently. 

Evaluation can be jvsst as useful in identifying what is working well. This 
information can provide confirmation of what you should be continuing, or perhaps 
increasing. Evaluation information also provides useful feedback to staff and to 
volunteers. Working in a literacy program, it is all too easy to focus on what needs 
to be done and fail to recognize what one has accomplished. Many of the pilots 
found that a major benefit for them of doing evaluation was documenting the 
progress which they have made. Another reason for evaluating is to indicate the 
value and accomplishments of your program to your supporters and funders. 

But if you do continue on your present course, make sure that it is based upon an 
explicit decision on your part: having considered the evidence and alternatives, this 
course of action is the best. Do not carry on "business as usual" by default. Even 
with the most glowing evaluation, there is probably something that you could do 
differently. It is a sign of your confidence and strength to be willing to make 
changes. 

A common problem with many programs of all kinds is that while they intend to 
act, they somehow fail to follow through with their plans. There are many reasons 
for lack of action. But a major reason is the failure to identify specific action plans, 
to be clear who needs to take action, by when, and to check what has actually 
happened. 
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Worksheet 5 provides a simple form for you 
to list the action steps you have fdentified 
and to keep track of what you have agreed 
to do. For each of your action steps, there is 
a place on the form to identify who is 
responsible and by what date the agreed- 
upon action is to have happened. Recording 
your plans and who is responsible for taking 
action is an easy way of keeping track of 
what you have decided. It also provides a 
basis for you to review your progress in 
accordance with the time frames you set 
earlier. The program coordinator, or 
preferably the program management 
committee or Board of Directors, should 
review progress in accordance with what 
was agreed. There are often good reasons 
for changing deadlines, but be sure that your 
plans are not forgotten. 




Also, let as many people as possible know what you have decided to do. 
Announcing your intentions is an important motivator to aid in keeping to your 
promises. 
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6. Review, Revise and Update 

Congratulations! You have completed an evaluation of your program, using the core 
quality standards. You have identified action steps to take. 

So what do you do next? You repeat the cycle! 

As the chart on page 6 illustrates, evaluation 
should be an ongoing process. In Step 5, you 
identified modifications to make to your 
program as a result of your evaluation findings. 
Now it is time to identify what else you should 
be evaluating and how to do it. Worksheet 6 
provides a place for you to identify your future 
plans for evaluation. 

As noted earlier, evaluation sometimes may 
raise additional questions about your program. If 
you make changes, you will want to see how 
well your new approaches are working. For 
example, if you have decided to try out new 
ways of assessing learner progress, you will 
probably want to check out how well your new process is working. 

In Step 1 , you identified some priority questions to address in your evaluation. You 
selected a few standards to look at in detail. Are there other questions you now have 
about how well your program is working? These may be questions you identified 
earlier, but decided not to pursue at the present time, or they may be new questions. 

What other standards should you examine now in order to ensure that your program 
is of the highest quality in all respects? Based upon your initial experience, are there 
changes you wish to make to your features and evidence, or are there ways in which 
you can streamline or improve the process of using the standards? 

And you should evaluate your evaluation. What went well and what could be done 
differently in the future? For example, were you able to stick to your timetable? Do 
you wish you had asked additional questions — or perhaps kept your evaluation 
more limited? Which methods were particularly useful, which gave you trouble, and 
why? Are there program records you now wish you had kept better? 
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Pilot example: Core Literacy is but one of the pilot projects which identified 
changes which could be made to the features and evidence it developed 
after they were tried out, and in particular how they could be simplified. 
Many pilot evaluation reports identified that they should be keeping better 
program records in the future. 

The greatest value of evaluation is in thinking about the meaning of quality. You 
should constantly ask how well things are working, how you know it, and what you 
could do differently. You should be asking what difference your activities are 
making to your learners and to your community. If you regularly collect and 
examine at least some form of information, you generally should not have to wait 
for a formal evaluation to have a good sense of how your program is going and 
what action you should be taking. 

Examining the quality of your program and making improvements is not a one-time 
process. It is something which you should be doing on an ongoing basis. 
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Conclusion 



This Guide provides you with ideas about how literacy programs in Ontario can use 
the Core Quality Standards to evaluate their programs. 

The Core Quality Standards identify broad areas of quality which apply to all 
literacy programs. It is up to you to specify exactly what they mean for your 
program. 

The primary purpose of evaluation is to enable literacy programs to improve the 
quality of what they do. Evaluation is a tool which assists you in asking about the 
quality and effectiveness of what you are doing, the reasons for what is happening, 
and what you can do to improve your effectiveness. Evaluation is an essential 
component of good management and of good planning. 

You do not have to evaluate all aspects of your program at the same time. You can 
decide which of the Core Quality Standards are most important to you now and 
what you most want to learn about how your program is working. Please do not 
worry about doing the t, perfect ,, evaluation. Evaluation is a somewhat more 
systematic way of doing what you probably are doing to some extent informally. 

The greatest value of evaluation is in thinking through the meaning of quality, and 
in thinking about ways in which you can continuously improve the quality of your 
program. Make evaluation work for you — and for your learners — as a tool to 
assist you in keeping your program as relevant and as effective as possible in 
enabling adults in Ontario to improve their literacy skills. 



44 

39 



Appendices 



The Worksheets 



Worksheet 1-A: Evaluation Committee 

Worksheet 1-B: Priority Standards for Evaluation 

Worksheet 1-C: Evaluation Questions and Priorities 

Worksheet 2: Checklist of Features and Evidence for Your Program 

Worksheet 3: Gathering Your Information 

Worksheet 4: Analysis and Interpretation of Your Findings 

Worksheet 5: Action Steps 

Worksheet 6: Review, Revise and Update 



For More Information 



A: Information and Advice from People 
B: Print Materials About Evaluation 
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Worksheet 1- A: Evaluation Committee 

1, Who will be on your evaluation committee? List their names: 



2* Who will chair the committee? 

4. Key dates: 

first meeting of the committee 
development of evaluation plan 
other 



collection of evaluation data 

identification of implications 

development of action plan 

3, Who else should be involved or consulted during the planning and carrying out 
of the evaluation? 

Within your program 
Outside your program 



Worksheet 1~B: Priority Standards for Evaluation 



In column one, prioritize the standards; how important are they to your specific 
program. In the second column of the chart, indicate your priority rating in terms of 
High (H), Medium (M), Low (L). In the third column, check which of these 
standards you plan on reviewing now. 



Standard 


Priority 


H 9 M, or L 


✓ 


Program Mission 








Community Focus 








Program Commitment to Learners 








Learner Commitment to Program 








Respect for Learners 








Learner-Centred Approaches and Methods 








Access and Equity 








Learning Assessment 








Instruction Time 








Ratio of Learners to Instructors 








Learning Materials 








Practitioner Training 








Outreach 








Support Services 








Organizational Links 








Program Accountability 








Administrative Accountability 








Program Evaluation 
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Worksheet 1 -C: Evaluation Questions and Priorities 



In this chart, please list the specific questions about your program which you would 
like to ask. For each of these questions, indicate the standard (or standards, if more 
than one) to which this question applies. How do you expect to be able to use the 
information you will obtain from addressing this question? 



Evaluation Question 


Standards) 


How to Use Information 
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Worksheet 2: Checklist of Features and Evidence 

for Your Program 



Please use a separate chart for each standard, listing the features you have identified, 
the evidence for each feature, and source of information or potential methods for 
obtaining the evidence. 



ER?C 



Standard: 



Feature 



Evidence 



Source of 
Information 
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Worksheet 3: Gathering Your Information 



1. Identify the methods you will use and the evidence you expect each method to 
provide. 
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Methods 


Evidence 























2. Identify the key steps in planning and carrying out your data gathering, 

identifying who is to be involved and when each step it expected to be carried 
out. The following steps are examples only. 



Step 


Who 


Start and Finish 
Dates 


Identify which methods you 
will use 






Develop instrumentation and 
detailed data collection plan 






Pre-test 






Finalize plan and instrumentation 






Collect the data 
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Worksheet 4: Analysis and Interpretation of Your Findings 



1. In the left column, list the major findings for your program from the evaluation. 
If possible, group them into themes. In the right column, indicate the sources of 
information for each major finding, such as "learner survey/* or "comments of 
tutors." 



Major Findings 


Sources of Information 







2. List the major implications of these major findings for your program: 
a. 



b. 
c. 
d. 
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Worksheet 5: Action Steps 



In the left column, please list the steps you have decided to take in response to your 
evaluation. In the centre column, identify who is primarily responsible for each step, 
and identify the expected completion date in the third column. 



Action Step 


Who 


Completion 
Date 
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Worksheet 6: Review, Revise and Update 



Identify below what you will evaluate next, as well as the changes you may want to 
make to your evaluation approach. 

1. What questions about your program should be evaluated next? These questions 
may include issues you were not able to address so far as well as other 
questions arising from your evaluation findings: 



2. What other standards will you review next? 



3. Thinking about your approach to evaluation, what went well and what did not? 
What should you do differently in future evaluations of your program? 

List the strong points of your evaluation: 



List the weak points or limitations of what you have done: 



Based upon your experience with evaluation, what should you do differently in 
future evaluations? 
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For More Information . 



a. information and Advice from People 

One of the best sources of information, advice and assistance about evaluation is 
other people. Consider contacting the following for help with specific questions 
about evaluation, to get reactions to your plans, or just to discuss issues in general: 



Resource 


Type of Assistance Available 


Your OTAB 
Literacy and 
Basic Skills 
Section 
Coordinator 


Your coordinator will be able to help you in developing 
your plans for evaluation, in identifying who else you 
might wish to speak with, and in many other ways. The 
coordinator's program visit can be an opportunity for you 
to discuss your plans for evaluation. 


Literacy Networks 


The Literacy Community Planning Process of your literacy 
network provides a good forum for you to discuss 
evaluation with other literacy programs in your area. 
Umbrella groups, such as the Ontario Literacy Coalition, 
Laubach Literacy Ontario or CESBA, may be able to 
connect you with other programs from your sector who are 
engaged in similar situations, as well as to provide you 
with some advice and assistance. 


Other literacy 
programs 


Other literacy programs are working with the same issues 
you are. Discussing your approaches to, and experiences 
of, evaluation with other programs is a good way of 
information sharing, as well as seeking advice about 
specific problems you may be facing. In particular, you 
may wish to contact one or more of the pilots. They tested 
out applications of the Core Quality Standards in a variety 
of ways. 

For example, Community Literacy of Ontario held regional 
meetings to consult on using the Core Quality Standards 
for evaluating community-based literacy programs. After 
consultation with the field, this report will be made 
available to community agencies as an added resource. 

Your OTAB coordinator or umbrella groups can identify 
pilots which may be most applicable for you to contact 
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Resource 


Type of Assistance Available 


Other resources in 
your community 


There can be a number of other sources of assistance about 
evaluation in your community. For example, there has 
been increasing evaluation activity with almost all forms of 
social and educational programs. Other community-based 
programs outside the literacy field may be able to share 
with you their own experiences with evaluation and 
provide you with advice from a somewhat removed but 
still informed perspective. There also may be community- 
based researchers or evaluators whom you may be able to 
call upon, not to do evaluation for you, but to assist or to 
advise you with key steps. 



b. Print Materials about Evaluation 

Alpha Ontario is a good place to start to look for information about books and 
reports regarding evaluation — as well as most other topics with respect to literacy. 
Alpha's collection, available for borrowing, has books about evaluation. It also has 
many reports of evaluations of literacy programs in Ontario, elsewhere in Canada, 
and from around the world. Alpha's staff can help you identify resources which may 
be helpful to you. As well, if you have a computer and modem, you can search its 
catalogue yourself. Alpha Ontario can be contacted at 416-397-5900 or 
1-800-363-0007 (fax: 416-397-5915). 

There are a great number of books on various evaluation topics. Unfortunately, most 
tend to be rather technical. Alpha publishes a couple of guides which can help you 
identify potential books of interest: 

• Quick List on Program Evaluation. This list includes books and reports on 
evaluation from Alpha Ontario's catalogue. 

• Annotated Bibliography on Evaluation. This list notes selective resources on 
evaluation in Alpha's Collection, with brief comments on each book or 
report [now in preparation]. 

Depending upon your interests, the following books may be of assistance in 
planning and carrying out evaluation activities: 

Anderson, Stephen. Evaluation Manual for Community- based Training Pro- 
grams. Toronto: George Brown College, Community Outreach Department, 
1987. 
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This is a comprehensive resource manual in a three-ring binder, specifically 
designed to assist community-based training programs in Ontario, including 
literacy programs, with evaluation of their programs. It discusses a wide 
range of approaches and techniques for planning evaluations and collecting 
and analyzing information. 

American Council of Voluntary Agencies for Foreign Service. Evaluation 
Sourcebook for Private and Voluntary Organizations. New York, 1983. 

This book is relevant to community programs of any type, even though it 
was developed specifically for voluntary foreign service agencies involved 
with development projects. It has a strong orientation towards participatory 
approaches to evaluation, providing lots of examples of very simple and 
informal approaches which can be used. 

Ellis, Diane, Reid, Gayla, and Barnsley, Jan. Keeping on Track: An Evaluation 
Guide for Community Groups. Vancouver: The Women's Research Centre, 
1990. 

This work is a guide to participatory evaluation, specifically written for 
community groups to use for self-evaluation. It describes the various stages 
of evaluation, providing numerous examples and samples of tools. While it 
does not talk about literacy, it provides many ideas which would apply to 
the evaluation of community literacy programs. 

Jurmo, Paul and Folinsbee, Sue. Collaborative Evaluation. Toronto: ABC 
CANADA, 1994. 

This guide is specifically about planning and conducting collaborative 
evaluation of workplace literacy programs. It lays out a simple approach in 
plain language which may also suggest ideas for evaluation of other types 
of programs. 

Ontario Training and Adjustment Board. Quality Standards for Adult Literacy: A 
Practitioner's Guide to the Accountability Framework for the Adult Literacy 
Education System and Core Quality Standards for Programs, Toronto: OTAB, 
1995. 

This publication describes the accountability framework and the core quality 
standards. It also outlines OTAB's expectations for literacy programs. It 
provides some guidance to literacy practitioners for using the standards. 
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Patton, Michael Quinn. Practical Evaluation. Newbury Park, Cal: Sage 
Publications Inc., 1982. 

Patton is the most entertaining writer on evaluation. This book uses many 
stories, fables, and examples in discussing the nitty gritty of various 
approaches to evaluation, including interviewing, questionnaires, 
management information systems, and other topics. Also see Patton s 
Utilization-Focused Evaluation (Sage, 1986) and Qualitative Evaluation and 
Research Methods (Sage, 1990). 
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Introduction et objectif de ce guide 



En juin 1994, le conseil d' administration du Conseil ontarien d' adaptation et de 
formation de la main-d'oeuvre approuvait une serie de normes fondamentales de 
quality pour les programmes d' alphabetisation offerts en Ontario, dont r Elaboration 
a fait Tobjet de longues consultations avec des membres du milieu de 
r alphabetisation ontarien. Chacune des normes correspond a un crit&re de qualite 
cerne lors de ces consultations. Les normes fondamentales de qualite sont un outil 
dont les responsables de r alphabetisation en Ontario peuvent se servir pour juger de 
la qualite et de Tefficacite de leurs programmes en vue de les ameliorer. 

Ce guide a pour but de vous suggerer des methodes devaluation tr£s simples que 
vous pouvez utiliser vous-memes. II ne vous impose aucune formule, mais plutot 
vous propose differentes manieres de reperer et d'aborder les questions qui vous 
semblent les plus importantes pour votre programme. II vous donne des idees sur la 
fagon dont revaluation peut servir a ameliorer la qualite de votre programme et son 
efficacite a repondre aux besoins en alphabetisation des personnes qui y participent 
et des membres de votre collectivite en general. 

Durant Tannee 1994 et au debut de Tannee 1995, le COFAM a accorde une 
subvention a 13 organismes d'alphabetisation, dont au moins un dans chaque secteur 
de prestation et chaque groupe cultural, en vue de faire des evaluations pilotes. II 
leur a demande de definir des caracteristiques et des preuves pour chaque norme de 
qualite, puis de s'en servir pour evaluer leurs propres programmes. Le guide que 
voici tient compte des resultats de tous ces projets pilotes. 

Les normes fondamentales de quality s'appliquent a Tensemble des programmes 
d' alphabetisation, mais il n'y a pas une seule et unique fa?on de les appliquer ni 
d' evaluer les programmes. II existe par exemple des differences suivant les secteurs 
de prestation de V alphabetisation et suivant les groupes culturels. De plus, chaque 
programme a quelque chose de particulier qui le distingue des autres, avec son 
propre contexte, ses propres priorites et ses propres besoins en matiere 
d'information. C'est pourquoi, malgre tous leurs points communs, les projets pilotes 
devaluation ont aborde la definition et Tapplication des noimes sous des angles 
differents. 

Cest a vous de choisir les normes essentielles pour votre programme. Vous pouvez 
decider quelles caracteristiques d'une norme sont plus pertinentes et plus 
importantes que d'autres pour votre programme. Rappelez-vous toujours que le but 
de revaluation est de vous aider a accroitre Tefficacite de votre programme. 
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Ce qui compte, c'est de faire quelque chose. Personne n'a de recette magique pour 
reussir revaluation d'un programme. Cest a vous de decider quels sont les 
Elements d'information qui vous seront les plus utiles pour offrir un programme de 
la meilleure quality possible, pour le plus grand bien de vos apprenantes et de vos 
apprenants. Le but de ce guide est de vous aider a r6flechir a la qualite de votre 
programme et k Tevaluer. 
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En quoi consiste revaluation 

cTun programme? 
Quels sont ses avanfages? 



1 . En quoi consiste revaluation d'un programme? 

Voici une definition de revaluation d'un programme : 

^valuer un programme, cest se poser des questions systematiques sur son 
fonctionnement et trouver dans les reponses a ces questions la preuve de ce 
que le programme parvient a accomplir, de sorte a decider de son 
fonctionnement a Vavenir. 

devaluation d'un programme permet de repondre a trois questions essentielles : 



a. Que se passe-t-il? 

b. Pourquoi? 

c. Quelles le$ons peut-on en tirer? 



a Que se passe-t-il? 

«Que se passe-t-il?» se rapporte au fonctionnement de votre programme. Cette 
question en recouvre beaucoup d' autres, par exemple : Combien d* apprenantes et 
d* apprenants participent a votre programme? Ces personnes sont-elles 
representatives de votre population cible? Quels types d'activites d'alphabetisation 
organisez-vous et a quoi servent-elles? Quel est le temps d'apprentissage reel prevu 
pour votre programme? Quelle forme prend la participation des apprenantes et des 
apprenants a la planification de leur apprentissage et au programme en general? 

II est bon de noter comment votre programme fonctionne, mais il est encore plus 
important de reconnaitre les resultats de ce que vous faites. La participation a votre 
programme augmente-t-elle les capacites de lecture et d'ecriture et les autres 
connaissances des apprenantes et des apprenants et si oui, dans quelle mesure? 
Quels sont les autres avantages de la participation a votre programme? 
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b. Pourquoi? 

«Pourquoi?» porte sur la raison d'etre de vos activites et de vos resultats. Comment 
pouvez-vous expliquer vos succfes et vos problemes? 

Pourquoi arrivez-vous par exemple h attirer plus facilement certaines categories 
d'apprenantes et d'apprenants que d'autres? Pourquoi une partie des apprenantes et 
des apprenants fait-elle plus de progrds qirune autre? Quelles sont les m6thodes 
d'enseignement qui donnent les meilleurs resultats et dans quelles circonstances? 
Pourquoi certaines personnes abandonnent-elles votre programme? Comment 
expliquez-vous que vos tutrices et tuteurs demandent davantage de formation ou 
d' assistance? Pourquoi vos efforts d' extension des services ont-ils donne de tres 
bons resultats ou au contraire de moins bons resultats que ce que vous aviez espere? 

c. Quelles leeons peut-on en tirer? 

«Quelles legons peut-on en tirer?» devaluation de votre programme n'a de valeur 
que si elle sert a quelque chose. Quelles lemons pouvez-vous tirer de ce que vous 
avez appris en vue d'ameliorer la qualite et Tefficacite de votre programme? 



Les evaluations spontaaees 

Nos propres observations et les anecdotes qui nous sont racont£es **ous amfcnent souvent k 
faire une Evaluation* spontanfe de nos programmes. II nous arris „ aussi d'organiser des 
Evaluations plus approfondies. Ce sont Ik trois sources de donnges trfcs pr6cieuses sur la 
quality de nos programmes. 

Toutefois, CORE LITERACY a souligng dans son rapport sur son projct pilote devaluation 
que les donnSes provenant de ces sources sont limitges. n a en effet constate que ce n'est 
que rarement ou dans des circonstances exceptionnelles que les cinq programmes 
d'alphab^tisation communautaire du projet pilote recueillent les avis des apprenantes et 
apprenants, des tutrices et tuteurs ou d'autres intervenants. Les temoignages sur lesquels ils 
basent g6n6ralement leurs Evaluations reflfctent les points de vue subjectifs de leur personnel, 
autrement dit les intfr&s et la fa?on de voir les choses d'un seul groupe d'intervenants. 

Ce rapport a done conclu que les organismes d'alphab&isation doivent adopter une m^thode 
plus syst6matique de collecte de donnges sur leurs programmes, afin de les 6 valuer dans un 
contexte ref!6tant v£ritablement les points de vue et les experiences de Tensemble des 
intervenants. 
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Si vous avez constate que certaines de vos activity avaient des points faibles, 
comment pourriez-vous les am61iorer? Si un trop grand nombre d'apprenantes et 
d'apprenants abandonnent votre programme, que pourriez-vous faire pour les aider a 
rester? Est-ce que vous pourriez am&ioier la formation ou r assistance offerte a vos 
instructeurs ou tuteurs? De quelle fa$on pourriez-vous encore faciliter 
Tapprentissage des personnes qui ont des besoins particuliers? Comment pourriez- 
vous mettre k profit les aspects positifs de votre programme? Vos succfcs 
pourraient-ils vous aider a convaincre vos bailleurs de fonds et autres partenaires a 
continuer d'appuyer les programmes d'alphabetisation? 



2. Quels sont les avantages de revaluation? 

devaluation de votre programme peut presenter plusieurs avantages : 

• Elle peut vous aider a preserver et accroitre Texcellence de tous les aspects 
de votre programme, Vous verrez par exemple dans quelle mesure votre 
programme aide les apprenantes et les apprenants a atteindre leurs objectifs, 
notamment pour ce qui est d'augmenter leurs capacites de lecture et 
d'ecriture, Cette information vous aidera a decider ce que vous pourriez 
faire pour rendre votre programme plus efficace. 

• L* evaluation peut aussi vous servir a apporter aux apprenantes et apprenants, 
a vos benevoles, a la collectivite, a vos bailleurs de fonds et aux autres 
personnes et organismes qui vous appuient la preuve de la valeur de votre 
programme et de ses resultats. 

• Elle peut aussi apporter a votre personnel et a vos benevoles la preuve de ce 
que votre programme vous a permis d'accomplir, grace a leurs efforts. 

• Enfin, revaluation peut vous aider a etudier certaines questions que vous 
pouvez vous poser, par exemple sur Tefficacite d'autres methodes 
d'enseignement que celles que vous utilisez ou sur la maniere d'ameliorer 
vos activites d' extension de vos services en vue d'attirer un plus grand 
nombre d'apprenantes et d*apprenants parmi vos groupes cibles. 

L*evaluation de votre programme doit avant tout vous aider a definir son orientation 
pour Vavenir. L/evaluation est un element indispensable de toute bonne 
planification. En effet, comment pourriez- vous planifier Tavenir de votre 
programme sans d'abord vous pencher sur ce que vous avez fait jusqu'a maintenant 
et vous demander ce qui a fonctionne ou non? 
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Le COFAM s' attend a ce que les organismes d'alphabetisation evaluent leurs 
programmes d'une manifcre ou d'une autre, mais c'est a vous de decider quels 
renseignements vous seront les plus utiles et quelles normes ont le plus 
cTimportance pour votre programme. 

La gestion d'un programme d'alphabetisation pour adultes n'est pas si simple. Les 
organismes qui offrent les meilleurs programmes se rendent compte que les besoins 
des apprenantes et des apprenants et meme de la collectivite tout entiere changent, 
comme d'ailleurs le contexte dans lequel leurs programmes sont offerts. Ces 
organismes remettent sans cesse en question la fa$on dont leurs programmes 
fonctionnent et se demandent toujours ce qu'ils pourraient faire pour obtenir de 
meilleurs resultats. 



3. Les normes fondamentales de qualite et 
revaluation des programmes 

Les 18 normes refletent diff6rents aspects de la qualite d'un programme 
d'alphabetisation. 

Vous devez vous poser des questions precises sur ce que votre programme fait par 
rapport a chacune de ces normes ou composantes de sa qualite, sur les resultats que 
cela vous permet d'obtenir, et sur ce que vous pourriez eventuellement faire pour 
ameliorer ces resultats. 

Les normes sont done un cadre qui vous aidera a formuler des questions dans un 
ordre bien clair sur la qualite et Fefficacite de votre programme. 



ERLC 



67 

6 



Les etapes de revaluation de votre 

programme 



devaluation de votre programme d'alphabetisation comporte six etapes, basees sur 
les normes fondamentales de qualite, a savoir : 



1. Commencer 

6. Revoir et reviser 2. Definir les caracteristiques 

et les preuves 



5. Agir en consequence 



3. Rassembler 1' information 



4. Analyser 1' information 
et en tirer les lecons 



Vous avez generalement interet a faire votre evaluation en procedant par etapes, 
dans l'ordre indique sur ce diagramme. Toutes ces etapes sont toutefois liees. Des 
l'etape 1 par exemple, au moment de decider sur quelles questions vous allez vous 
pencher, vous feriez bien de vous preparer aux etapes 4 et 5, autrement dit de 
penser a ce que les reponses a ces questions pourraient signifier pour votre 
programme et de reflechir aux actions que vous seriez prets a prendre. 

Parfois, vous devrez aussi revenir en arriere, vers une etape anterieure. Une fois 
que vous aurez defini, a l'etape 2, les preuves que vous voulez obtenir, puis 
determine Tinformation que vous devrez recueillir a l'etape 3, vous vous rendrez 
peut-etre compte que les questions retenues a l'etape 1 etaient trop ambitieuses. 
Dans un cas pareil, la meilleure chose a faire est sans doute de revenir en arriere, de 
vous demander a nouveau de quoi vous avez vraiment besoin et de reflechir a vos 
priorites essentielles. Vous pourrez aussi vous rendre compte a un moment donne, 
au cours de votre evaluation, que vous feriez bien de recueillir de 1' information 
aupres de certaines personnes auxquelles vous n'aviez pas pense au depart. 
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Les Stapes sont disposers en forme de cercle sur ce diagramme afin de bien rappeler 
que revaluation de votre programme et l'application des normes n'ont pas vraiment 
de debut ni de fin. Au contraire, l'am£lioration de la qualite" des programmes 
d'alphabetisation devrait etre une chose continue. Dites-vous que 1'evaluation est un 
outil qui vous permet de temps a autre de prendre du recul et de reflector aux 
resultats de vos activites. 

Les pages suivantes contiennent des suggestions sur la facon de proceder a chaque 
etape. Nous y avons egalement reproduit, en format reduit, les feuilles de travail 
jointes a 1' annexe 1 dont vous pourrez vous servir a chaque etape, soit en les 
photocopiant telles qu'elles sont, soit en les modifiant en fonction de vos besoins. 



1. Commencer 

C'est de la premiere etape que depend reellement le succes de toute votre 
evaluation. D'abord et avant tout, vous devez absolument poser les bonnes 
questions, sinon l'information que vous allez recueillir ne vous servira pas a grand 
chose. 

Les projets pilotes devaluation ont souligne que le plus gros avantage que presente 
l'application des normes en vue d'evaluer un programme, c'est qu'elle oblige a se 
demander ce qui fait la qualite de ce programme et ce qui permet de reconnaitre ses 
points forts et ses points faibles. Cette reflexion structured vous donnera 
inevitablement des idees sur la facon dont vous pourriez modifier ou ameliorer votre 
programme, avant meme d' avoir recueilli la moindre information! L'un des 
organismes retenus pour ces projets pilotes, le Tri-County Literacy Council, par 
exemple, a constate que 1'evaluation s'etait rapidement transformed en travail de 
planification qui lui a permis de reconnaitre plusieurs ameliorations possibles a son 
programme et au processus devaluation lui-meme. 

Vous devez aussi imperativement commencer par mettre au point le processus 
devaluation et designer la personne qui sera responsable de son execution, sinon, 
compte tenu de toutes les autres priorites auxquelles votre organisme doit faire face, 
1'evaluation risque de perdre en importance et de ne pas se derouler comme prevu. 

Enfin, vous devez aussi decider qui doit participer a la planification et a l'execution 
de 1'evaluation. En choisissant bien a qui vous confiez ces taches, vous pourrez 
vous assurer que 1'evaluation abordera effectivement les questions qui presentent le 
plus grand interet pour les personnes touchees par votre programme. Si revaluation 
se fait sur une base participative, un plus grand nombre de personnes accorderont de 
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Timportance a ses resultats et voudront en tirer les consequences. II est bon de se 
rappeler qu'il s'agit d'une Evaluation que vous faites vous-memes et non d'une 
evaluation que vous subissez. 

Maintenant, voyons le derouleraent de cette premiere 6tape d'un plus pres. 



a. La mise en place d'un processus pour coordonner revaluation 
et s' assurer la participation de personnes clef 

La feuille de travail 1-A pourra vous aider. 

• Designez ou formez un comite 
responsable de revaluation 

Si vous avez deja un comite de 
planification ou un comite equivalent pour 
votre programme, c'est a lui que vous 
pouvez confier la responsabilite de 
revaluation. Sinon, vous feriez bien de 
creer un comite special. 

II se pourrait aussi que le comite de 
direction de votre programme ou un comite 
equivalent soit pret a assumer cette 
responsabilite. II ne faut toutefois pas 
oublier que si revaluation vient s'ajouter a 
une longue liste d'autres responsabilites, elle risque de perdre en importance 
face aux autres activites prioritaires et aux problemes urgents qui font surface au 
jour le jour. II est par ailleurs preferable de ne pas confier la planification et 
Texecution de cette evaluation a un groupe compose uniquement de rnembres de 
votre personnel. 

Quelle serait la composition ideale de votre comite devaluation? On devrait y 
retrouver au moins un representant ou une representante de chaque groupe de 
personnes touchees par votre programme, y compris votre personnel, les 
instructrices ou instructeurs et les tutrices ou tuteurs, les autres benevoles et les 
apprenantes et apprenants. Dans certaines circonstances, vous aurez aussi interet 
a vous assurer la participation d'une ou de plusieurs personnes sans aucun lien 
direct avec votre programme. Si votre programme fonctionne en etroite 
collaboration avec un autre organisme communautaire, vous aurez peut-etre 
interet a demander a un representant ou une representante de cet organisme de 
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participer a revaluation. Vous pouvez aussi demander a quelqu'un qui a de 
rexp&ience en matiere devaluation de vous aider. Ce qui compte, c*est que le 
comit£ soit capable d'accomplir son travail. 

Exemple d'un projet pilote : le Centre d'alphabetisation Huronie a 
mis sur pied un comite restreint charge de superviser ses activites 
d * evaluation. Ce comite etait compose de cinq personnes, la 
premiere representant le Centre, la deuxieme les instructeurs et 
instructrices, la troisieme les apprenantes et apprenants, plus une 
personne specialiste des evaluations et une autre personne- 
ressource. D'autres projets pilotes ont etabli des comites 
devaluation similaires. 



Designez une personne responsabie de la direction du comite 

Quelqu'un devra presider ou coordonner votre comite devaluation, non pas 
necessairement pour mettre au point le plan devaluation et Tex6cuter, mais pour 
s'assurer que revaluation se deroule bien comme prevu, car autrement, elle 
risque de tourner en deroute. 



Fixez des dates clef pour revaluation 



II est egalement important que le comite se fixe un caJendrier pour Texecution 
de revaluation, ou tout du moins quelques dates clef. Cela lui evitera de 
prendre du retard et permettra a d'autres personnes de savoir ou revaluation en 
est rendue. L'organisme peut tres bien fixer une date a laquelle le comite devra 
avoir terminc revaluation. Dans ce cas, le comite devra faire un calcul a 
rebours, autrement dit decouper revaluation en ses differentes etapes et 
determiner combien de temps il pomTa consacrer a chaque etape pour achever 
revaluation a la date prevue. 

La feuille de travail 1-A vous suggere quelques-unes des etapes qui pourraient 
faire partie de ce calendrier et pour lesquelles vous avez interet a etablir des 
dates d'achevement. Bien entendu, n'hesitez pas a ajouter d*autres etapes a la 
liste proposee. Ce qui importe, c'est d'etablir des le depart des dates precises 
par rapport auxquelles le comite devra rendre compte de ravancement de 
revaluation. 



Faites appel a ia participation d'autres personnes 



II est preferable que votre comite devaluation ne rassemble qu'un petit nombre 
de personnes, car cela facilitera son travail. Par contre, vous feriez bien d'offtir 
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a d'autres personnes touch6es par votre programme la possibilite de vous aider a 
planifier revaluation d'une fa?on ou (Tune autre. Vous pourrez ainsi vous 
assurer qu'elles prendront revaluation au serieux et qu'elles voudront en tirer 
les lemons, autrement dit agir en consequence. 

Dressez une liste des personnes que vous feriez bien de consulter pendant que 
vous pr£parez revaluation. II peut s'agir de personnes internes a votre 
organisme ou programme, par exemple des apprenantes ou apprenunts, des 
ben£voles, des instructrices ou instructeurs et des membres de votre personnel. 
Vous pouvez aussi faire appel a des personnes de Texterieur, soit parce qu'elles 
ont un interet direct ou indirect dans ce que vous faites, comme par exemple des 
membres de la collectivite, des bailleurs de fonds ou des personnes representant 
d* autres organismes communautaires ou 6ducatifs, soit tout simplement a cause 
de Taide particuliere qu'elles peuvent vous apporter. 

Cette participation peut prendre differentes formes. Vous pouvez par exemple 
mener une entrevue avec <;ertaines personnes et leur demander ce qu'elles 
pensent de votre programme, ce que vous faites bien, et quelles questions vous 
devriez a leur avis vous poser durant revaluation. Vous pouvez aussi donner 
aux personnes que cela interesse l'occasion d'examiner de quelle maniere vous 
avez Tintention de faire revaluation et d'en discuter. 

Exemples de deux projets pilotes : Le conseil de ('education de 
Lakehead a rassemble un groupe de fournisseurs en alphabetisation 
sans lien direct avec le conseil et leur a demande d 9 examiner son 
processus devaluation, quil a egalement presente a des fins de 
discussion lors d 9 une reunion entre instructrices et instructeurs, 
membres de l 9 administration, apprenantes et apprenants. 

Le groupe consulte par le Centre d y alphabetisation Huronie etait 
compose de representantes et de representants de cinq autres 
organismes francophones offrant des programmes d 9 alphabetisation, 
auxquels il a fait parvenir tons ses rapports. Ainsi, les autres 
organismes ont pu lui faire des observations sur son processus 
devaluation et en meme temps apprendre quelque chose a partir de 
V experience d 9 Alpha Huronie. 

A qui vous faites appel dependra en partie de Tobjet de votre evaluation. Si 
vous avez decide d'etudier la nature des liens entre votre programme et d' autres 
organismes, par exemple, vous devrez bien entendu prevoir la participation de 
ces autres organismes sous une forme ou une autre. D'autres questions 
pourraient plus particulierement interesser les instructrices et les instructeurs de 
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votre programme. Avant de decider a qui faire appel, vous devez done 
delimiter bien clairement Tobjet de votre Evaluation. 

• Precisez Ies liens entre le comite et Porgane de decision de votre 
programme 

Votre comite devaluation pourra analyser les resultats de votre evaluation, en 
tirer des conclusions et faire des recommandations, mais il n'a pas Tautorite 
necessaire pour prendre des mesures concretes. II devra done imperativement 
presenter ses conclusions et ses recommandations a r organe de decision de 
votre programme qui, selon votre structure, peut etre un comite de direction, un 
conseil d' administration ou autre. 

Votre organe de decision devrait regulterement communiquer avec le comite 
devaluation et au minimum : 

• approuver votre conception generate de revaluation; 

• verifier Tavancement de revaluation par rapport aux dates prevues ou 
fixees pour Tachevement de ses differentes etapes; 

• avoir la possibility d'examiner vos conclusions preliminaires et d'en 
discuter. 

Cest a votre organe de decision qu'il appartient de determiner ce que les 
conclusions de votre evaluation signifient pour votre programme et de decider 
quels changements apporter a ce dernier. 



b. Les priorites de votre evaluation 

L'etape cruciate de revaluation de votre programme consiste a decider ce que vour 
allez evaluer au juste. En effet, si vous voulez obtenir des reponses ou des resultats 
utiles, vous devez dans un premier temps poser !es bonnes questions! Lorsqu'une 
evaluation echoue, c*est en general parce qu'elle ne posait pas les bonnes questions. 

Vous devez faire attention a bien delimiter ce qui a le plus d'importance pour vous, 
pour vos bailleurs de fonds et pour la collectivite en general. Vous n'etes pas 
obliges de tout evaluer en meme temps. Decidez quelles normes et quelles 
questions precises importent le plus pour vous a Theure actuelle. La feuille de 
travail 1-B pourra vous aider a etablir vos priorites. 
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• Passez en revue les normes fondamentales de qualite 

Familiarisez-vous avec les 18 normes en vous reportant au Guide de 
Valphabetiseuse et de Valphabetiseur sur le Cadre de responsabilisation ou a la 
Liste de verification fournie ci-apres, sur la feuille de travail 2. Discutez de la 
fa^on d'interpreter chaque norme pour votre programme. Ainsi, sans avoir 
recueilli la moindre information suppl&nentaire, vous devriez deja etre en 
mesure d'entrevoir ou votre programme en est par rapport a chacune de ces 
normes. La lecture des normes pourra vous faire penser a des questions precises 
concernant votre programme. La norme 1 L Le materiel didactique, par 
exemple, vous amenera peut-etre a vous demander si le materiel que vous 
utilisez pour une partie de vos apprenantes et apprenants est vraiment adapte a 
leurs besoins. 



i 
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Determinez quelles sont les normes 
qui vous semblent les plus 
importantes pour votre programme 
a Theure actuelle. La feuille de 
travail 1-B vous propose un tableau 
dont vous pouvez vous servir pour 
classer les normes en ordre de 
priorite (elevee, moyenne, faible), 
puis decider sur lesquelles vous 
allez axer votre evaluation. 

Definissez les questions sur 
lesquelles portera votre 
evaluation 

Quelles sont les questions que vous 
vous posez a propos de votre 
programme? Quels sont les sujets 
sur lesquels vous aimeriez avoir 
plus d' information? Vous 
demandez-vous par exemple si vos 
activites d'extension des service 
sont suffisantes pour attirer les 

apprenantes et les apprenants que vous voulez? Vous demandez-vous si les 
apprenantes et les apprenants comprennent bien les efforts qu'elles ou ils 
devront fournir pour ameliorer leur apprentissage et atteindre leurs objectifs? 
Aimeriez-vous savoir avec plus de precision quels aspects de la formation que 
vous offrez a vos alphabetiseuses et alphabetiseurs et a vos benevoles leur sont 
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les plus utiles par la suite, dans la pratique? Vous demandez-vous si vous 
devriez y ajouter un element? Y a-t-il quelque chose qui ne fonctionne pas? 
Quels sont les renseignements dont vous auriez besoin pour comprendre 
pourquoi et trouver des solutions au probteme? 

D'un autre cot£, vous avez peut-etre d6ja un sentiment assez clair de ce que 
votre programme vous permet d'accomplir, sans avoir pour autant V information 
necessaire pour en convaincre d'autres personnes ou organismes. Pouvez-vous 
par exemple documenter que votre programme aide les apprenantes et les 
apprenants a augmenter leurs capacit£s de lecture et d'ecriture et a atteindre 
d'autres objectifs? £tes-vous capable de montrer que votre programme se 
deroule en collaboration avec d'autres organismes communautaires et educatifs, 
dont il complete les propres programmes? Pouvez-vous prouver que vous gerez 
bien r argent que vous recevez de differentes sources et que vous Tutilisez de 
fa?on raisonnable? 

Comment pouvez-vous faire pour decider sur quelles questions portera votre 
evaluation? Les normes de qualite sont assez vastes et devraient en principe 
vous amener a vous poser des questions plus precises concernant votre 
programme. Les personnes qui participent au programme ou qui s'y interessent 
vont tout naturellement etre amenees a se poser des questions au jour le jour, 
Parfois, ces questions sont meme consignees dans des compte-rendus de 
reunions. Votre comite d' evaluation pourrait parler a differentes personnes qui 
ont un lien direct ou indirect avec le programme et leur demander quelles 
questions elles ont a son sujet ou ce qu'elles aimeraient savoir a propos des 
choses que le programme a permis d'accomplir. Vous pourriez aussi 
commencer par organiser une seance de remue-meninges, noter toutes les 
questions soulevees a cette occasion, puis choisir celles qui vous semblent les 
plus importantes. 

Au moment de definir les questions sur lesquelles portera votre Evaluation, 
reflechissez aux consequences de vos choix. Quels sont parmi tous les 
renseignements que vous pourriez recueillir ceux qui vous seraient les plus 
utiles? Essayez de decider a Tavance ce que vous pourrez faire avec 
T information recueillie. Prenons un exemple : est-ce que des renseignements 
plus detailles sur les caracteristiques de vos apprenantes et de vos apprenants et 
sur leurs problemes pourraient vous aidei a modifier vos activites d'extension 
des services ou a mieux adapter votre programme aux besoins particuliers d'une 
partie des personnes auxquelles il s'adresse? 
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Exemples de deux projets pilotes : Soucieux de bien faire ce qui leur 
avait ete demande, les projets pilotes se sont pour la plupart penches 
sur V ensemble des normes. Neanmoins, certains se sont concentres sur 
des problemes particulierement importants pour eux. Le conseil de 
I 'education de North York, par exernple, a axe son evaluation tres 
precisement sur la question de savoir comment proceder a revaluation 
continue des apprenantes et des apprenants. devaluation faite dans le 
comte de Lambton pour sa part a surtout servi a etudier l 9 efficacite de 
V integration des services d * alphabetisation amorcee dans la province. 

Le tableau sur la feuille de travail 1-C 
vous permettra de noter les questions de 
votre Evaluation, la ou les normes 
auxquelles elles se rapportent, ainsi que la 
fagon dont vous comptez utiliser 
T information recueillie a travers les 
reponses obtenues. 

c. Les bonnes raisons de demander 
de I'aide 

Le choix des questions est T element le plus 
difficile, mais aussi le plus important, de 
toute evaluation. Cette difficulty a ete 
confirmee par bon nombre des projets pilotes. 



Cest souvent une bonne idee de demander a 
quelqu'un qui a un certain recul par rapport a votre programme de vous aider a 
cerner vos questions prioritaires a Tetape 1. A qui pourriez- vous demander ce 
service? A quelqu'un qui travaille dans un autre organisme d'alphabetisation ou au 
sein d'un autre type de programme communautaire, par exemple, mais qui connait 
un peu votre programme et qui a de preference une certaine experience en matiere 
d' evaluation. Vous pourriez aussi faire appel a quelqu'un qui enseigne dans une 
autre discipline, si votre programme est offert dans un etablissement 
d'enseignement, ou encore a une personne qui siege a votre conseil d 1 administration, 
si votre programme est un programme communautaire. Enfin, vous pourriez vous 
mettre en rapport avec quelqu'un qui se specialise dans les questions d'evaluation 
ou de developpement organisationnel ou encore avec la personne a qui vous avez 
regulierement a faire au COFAM. N'hesitez pas a demander de Taide, surtout si 
vous ne savez pas par quel bout entamer revaluation. 
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d. Commencez! 

Comme nous Tavons deja dit, rien ne vous oblige a aborder toutes les normes en 
meme temps. Personne ne vous demande de faire une evaluation «parfaite». 
L' important, c'est de commencer quelquepart. Vous pourrez toujours perfectionner 
votre processus plus tard, s'il le faut. 

Gardez bien a r esprit que revaluation ne vise pas a porter un jugement sur ce que 
vous faites. Son seul but est de vous donner des idees sur la fagon dont vous 
pourriez ameliorer la qualite et Tefficacite de votre programme. Vous avez peut- 
etre deja pris Thabitude d'evaluer regulierement certains aspects de vos activites. 
Dans ce cas, il vous suffira pour les besoins de revaluation dont nous parlons ici de 
rassembler les donnees que vous avez deja recueillies en vue de documenter ce que 
vous faites ou de reprendre vos activites devaluation habituelles de fagon un peu 
plus systematique. 

2. Definir les caracteristiques et ies preuves 
a. Les caracteristiques du programme 

Les normes fondamentales de quality enoncent en termes tres generaux la fa9on dont 
un programme d'alphabetisation devrait fonctionner. Elles forment un cadre ou une 
base parfaite pour reflechir aux elements qui font la qualite de votre programme. 

Avant de pouvoir e valuer un programme par rapport a une norme, il faut d'abord 
definir les elements de la norme que Ton retrouve dans ce programme et que nous 
avons convenu d'appeler les caracteristiques du programme. Les caracteristiques 
d*un programme temoignent du respect des normes. Les normes sont un enonce 
general des pratiques ideales. Les caracteristiques permettent de voir plus 
precisement comment ces normes ou pratiques ont ete integrees au programme. 

Une fa?on de reperer les caracteristiques relatives au respect de la norme sur 
laquelle porte votre evaluation est de vous demander ce qui changerait dans le 
fonctionnement de votre programme s'il avait atteint le meilleur niveau de qualite 
possible. La norme 3 relative a Tengagement du programme envers les apprenantes 
et les apprenants par exemple dit ceci : «Un programme d'alphabetisation de qualite 
fait valoir, planifie et offre aux apprenantes et aux apprenants des possibilites 
d'accroitre leurs competences en lecture, ecriture, calcul et autonomic fonctionnelle, 
ainsi que leur aptitude a la pensee critique et leur capacite de resoudre des 
problemes.» Qu'est-ce que cela signifie? 
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Exemples de projets pilotes : Les caracteristiques relevees a V occasion des 
evaluations pilotes menees par le conseil de V education de Lakehead et le 
Centre d'accueil autochtone de Fort Erie font ressortir que Vun des 
elements clef de cette norme est V augmentation des capacites de lecture, 
d'ecriture ei de calcul des apprenantes et des apprenants. Cette norme 
touche a la raison d'etre meme des programmes d f alphabetisation. Par 
ailleurs, a en juger par les caracteristiques definies dans le cadre de 
plusieurs projets pilotes, cette norme se rapporte aussi a la necessite 
d' aider les apprenantes et les apprenants a ameliorer un certain nombre de 
leurs autres capacites connexes, telles que la reflexion critique ou la 
resolution de problemes. Certains projets pilotes ont aussi repere une serie 
d'autres facteurs ou de caracteristiques lies a V engagement de leur 
programme envers les apprenantes et les apprenants. 

La norme 8 se rapporte a la qualite en matiere devaluation des apprenantes et des 
apprenants. Quels sont les elements clef ou les caracteristiques qui correspondent a 
cette norme? Le premier element qui se degage de la plupart des projets pilotes est 
que revaluation se fait de fa$on continue. Certains projets pilotes sont alles jusqu'a 
preconiser certaines methodes devaluation, formelles ou non, suivant la nature du 
programme ou le niveau des apprenantes et des apprenants. Une autre 
caracteristique d'une evaluation de qualite, toujours d'apres les projets pilotes, est 
Temploi de methodes qui favorisent Tepanouissement des apprenantes et des 
apprenants, notamment du fait de leur participation a revaluation. 

Comment pouvez-vous faire pour definir les caracteristiques de votre programme qui 
se rapportent aux normes de qualite? Cette etape exige une reflexion attentive sur 
ce qui fait la qualite de votre programme, sur ce que votre programme vise a 
accomplir et sur les resultats que vous esperez obtenir. Cela va prendre du temps. 
Les organismes charges des evaluations pilotes se sont d' ailleurs apergus que cette 
reflexion et analyse ne pouvaient pas se faire en une seule seance de travail. 

Votre comite devaluation a tout interet a faire un peu de remue-meninges pour 
definir les caracteristiques de la qualite de votre programme. II peut demander a 
d'autres personnes touchees par le programme de se joindre a ce remue-meninges. 
II aurait probablement aussi interet a examiner de quelle maniere d* autres 
organismes ont defini ces caracteristiques. La liste de verification de la feuille de 
travail 2 pourra servir de point de depart a la reflexion du comite, qui pourra aussi 
s'inspirer du travail fait a cet egard par les projets pilotes et d'autres programmes 
dfalphabetisation. Efforcez-vous toutefois de reflechir attentivement a ce que la 
qualite signifie pour vous et de Texprimer en utilisant vos propres mots. 
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Quelle est par exemple Fimportance d'offrir une formation de qualite aux 
alphab&iseuses et aux alphab&iseurs (norme 12)? Quel genre et quel niveau de 
formation continue ou de perfectionnement professionnel devez-vous prevoir dans 
votre programme pour vous assurer que vos instructrices et vos instructeurs 
donneront des cours de la plus haute quality? La definition des caracteristiques de 
quality pour F application de cette norme variera quelque peu d'un secteur 
d'alphabetisation a r autre. 



Quelques conseils pour la definition des caracteristiques 

• Recherchez la simplicity. En r6ftechissant & ce qu'une norme signifie pour vous, vous 
commencerez peut-fitre dans un premier temps par trouver une longue liste de 
caracteristiques. Efforcez-vous de les regrouper. Vous ne devriez que rarement avoir 
besoin de plus de trois ou quatre caracteristiques par norme. 

• Au moment de d£finir les caracteristiques qui font la qualite de votre programme, vous 
avez interfit & vous poser trois questions : Quoi? f Comment? et Avec quel risultat? 
autrement dit Que faites-vous? (Faites-vous par exemple des efforts d'extension des 
services pour attirer des apprenantes et des apprenants?) Est-ce que vous le faites bien? 
(Vos activites d'extension des services sont-elles bien adaptees k votre groupe-cible?; Et 
enfin, est-ce que ce que vous faites est efficace? (Avez-vous r6ussi & attirer des apprenantes 
et des apprenants de ces groupes cibles?) 

• Votre programme peut trfcs bien avoir des caracteristiques qui lui sont propres, & condition 
qu'elles soient compatibles avec T6nonc6 de la norme & laquelle elles se rapportent. 



Exemples de deux projets pilotes : Plusieurs conseils scolaires et conseils de 
colleges, notamment le conseil de I 'education de Lakehecd, qui emploient 
des professionals, ont tendance a definir les competences de base que 
possede leur personnel avant Vembauche ou avant V affectation a une 
classe. Les programmes communautaires qui utilisent des tutrices et des 
tuteurs benevoles ont tendance a mettre V accent sur la formation qu ils leur 
offrent eux-memes. Certains projets pilotes, comme par exemple le college 
Sheridan, ont etudie les avantages au jour le jour de la presence 
d y instructrices et d instructeurs competents, qui se soumettent a des 
evaluations regulieres. D'autres projets pilotes ont mis V accent sur la 
formation et les autres services de soutien offerts aux alphabetiseuses et aux 
alphabetiseurs. 
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En principe, si vous avez trouve une preuve a l'appui des caracteristiques que vous 
avez deTmies, votre programme satisfait aux normes de qualite. Quoi qu'il en soit, 
il y a differents niveaux de qualite. Vous ne pouvez jamais trop bien faire, meme 
s'il est entendu que certains facteurs pratiques, notamment les moyens a votre 
disposition, peuvent vous imposer des contraintes. Le principal avantage de 
T application des normes, qui vous oblige a definir des caracteristiques de qualite" 
pour votre programme, c'est qu'elle vous fait reflector a vos activites et a la 
possibility de les am&iorer. 



b. Les preuves de la presence des caracteristiques 

Comment pouvez-vous savoir si votre programme presente bien les caracteristiques 
qui font sa qualite? II vous faut des preuves. Les preuves confirment, a vos 
propres yeux et aux yeux d'autrui, la qualite" des activites et des resultats de votre 
programme par rapport a chaque norme. 

Au moment de determiner quelles preuves vous devez trouver, examinez les 
differentes caracteristiques que vous avez definies. Demandez-vous de quels 
renseignements vous avez besoin pour pouvoir demontrer ce que le programme vous 
a permis d'accomplir. Quelle sorte de preuve vous faut-il par exemple pour 
demontrer l'augmentation des capacites de lecture, d'ecriture et de calcul de vos 
apprenantes et de vos apprenants? 

Vous verrez que certaines preuves sont tres faciles a trouver, surtout si vous tenez 
des dossiers bien a jour pour votre programme. Sauf exception, vous ne devriez 
avoir aucun mal a trouver des documents confirmant si vous avez adopte un enonce 
de mission pour votre programme, a qui vous l'avez distribue, le cas echeant, le 
genre de relations que votre organisme entretient avec d'autres groupes 
communautaires, la nature de la formation que vous offrez a vos alphabetiseuses et a 
vos alphabetiseurs, ou encore, si vous evaluez les besoins des apprenantes et des 
apprenants des leur admission au programme, combien de fois vous evaluez leurs 
progres pendant la duree du programme et si vous avez bien note leurs objectifs 
d'apprentissage. 

Pour la plupart des caracteristiques, vous devrez toutefois trouver differentes formes 
de preuve en provenance de plusieurs sources. L'une des caracteristiques d'une 
methode d'enseignement axee sur les apprenantes et les apprenants est de les aider a 
assumer la responsabilite de leur propre apprentissage. Voici les preuves que It: 
projets pilotes ont definies pour cette caracteristique : 
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• existence de documents a l'appui de la participation des apprenantes et des 
apprenants a l'&aboration de leurs plans d'apprentissage; 

• enonce de lignes directrices a Tintention des instructrices et des instructeurs 
concernant le programme d'etudes et la participation des apprenantes et des 
apprenants; 

• mise en place d'un processus permettant aux apprenantes et aux apprenants 
de faire des observations sur Tinstruction qui leur est donnee et sur d'autres 
aspects du programme. 

Pour apporter Tessentiel de ces preuves, il vous suffit probablement de consulter vos 
dossiers, mais vous devrez sans doute completer ce que vous y trouverez par des 
temoignages de plusieurs apprenantes et apprenants et de quelques instructrices ou 
instructeurs. 

Une preuve peut etre «objective», autrement dit consister en des faits incontestables 
confirmant qu'une certaine chose s'est passee, ou «subjective», autrement dit 
consister en des avis et des points de vue. Elle peut par ailleurs etre quantitative, 
autrement dit prendre la forme de quelque chose de tangible, que vous pouvez 
compter ou mesurer, comme par exemple le nombre d' apprenantes et d' apprenants 
dans un cours ou leur taux d'assiduite, ou encore qualitative, autrement dit prendre 
la forme d'une description, comme par exemple celle du processus de selection du 
materiel didactique. 

Dans bien des cas, vous obtiendrez une meilleure preuve en posant des questions 
appelant une reponse numerique («Combien?»), plutot qu'une description, a 
condition bien sur que cela soit possible et logique. S'ils sont bien tenus, vos 
dossiers et vos registres de presence vous fourniront des donnees plus fiables sur 
votre programme que des estimations faites ulterieurement. Pareillement, si vous 
etes en mesure de presenter des documents a l'appui des progres accomplis par tel 
ou tel nombre d' apprenantes et d' apprenants, ces chiffres fourniront des 
renseignements plus eloquents sur votre programme qu'une declaration laconique 
selon laquelle la plupart de vos apprenantes et de vos apprenants ont «atteint leurs 
objectifs», Ce genre de preuve concrete vous donnera une meilleure idee de ce que 
votre programme vous a deja permis d'accomplir et sur ce que vous pourriez encore 
accomplir d' autre. 
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Dans certaines circonstances, une preuve plus «abstraite», presentee seule ou 
conjointement a une autre preuve, peut produire un meilleur effet. Vos dossiers 
devraient par exemple indiquer si les apprenantes et les apprenants participent a 
Tetablissement de leurs objectifs ou de leurs plans d'apprentissage. Les compte- 
rendus de certaines de vos reunions pourront mentionner si les apprenantes et les 
apprenants ont participe a la selection du materiel didactique, aux activit£s de 
planification du programme, etc... II serait bon de completer ces documents par des 
temoignages recueillis aupres des apprenantes et des apprenants au sujet de leur 
participation et sur la question de savoir si celle-ci leur a semble significative et 
suffisante. Vous pouvez aussi demander aux instructrices et aux instructeurs de 
dScrire de quelle manure les apprenantes et les apprenants participent a la mise au 
point des plans d'apprentissage. Ces renseignements descriptifs pourront vous aider 
a repondre a plusieurs de vos questions sur les raisons pourquoi telle ou telle chose 
s'est produite. Ces renseignements peuvent par ailleurs s'averer indispensables pour 
trouver des idees de changements susceptibles d'am&iorer la qualite et Tefficacite 
de votre programme. 

Sur la liste de verification figurant sur la feuille de travail 2 vous retrouverez 
certains types de preuve confirmant la presence dans votre programme des 
caracteristiques correspondant a chaque norme. Les preuves enumerees sur cette 
liste ne doivent toutefois que vous servir d* exemple ou de point de depart. Vous 
devrez probablement les modifier plus ou moins, les rendre plus precises ou les 
remplacer par d'autres formes de preuve. Le genre de preuve qui convient pour un 
programme est en general plus specifique que les caracteristiques correspondant aux 
normes. C'est ce qui explique que le genre de preuve utilisee d'un programme a 
T autre varie. 

Exemple d'un projet pilote : Compte tenu des particulates de sa 
co'lectivite et de ses apprenantes et apprenants, le projet pilote de Fort Erie 
a utilise certains aspects de la culture autochtone y notamment le recours b 
des methodes d'apprentissage holistiques, comme preuve pour plusieurs 
caracteristiques de son programme. 

N'oubliez pas que vous pouvez obtenir des preuves de differentes sources et de 
plusieurs fa?ons. II n'y a souvent pas qu'une seule solution pour obtenir un meme 
genre de preuve. Vous pouvez par exemple vous appuyer sur plusieurs sources pour 
obtenir la preuve de la participation des apprenantes et des apprenants a 
i'etablissement de leurs objectifs. La preuve n*a rien L voir avec les moyens que 
vous utilisez pour V obtenir. La preuve, c'est ce qui vous permet de confirmer que 
votre programme possede bien certaines caracteristiques. 
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c. L'empioi des caracteristiques et des preuves 



La feuille de travail 2 contient un tableau 
sur lequel vous pouvez inscrire les 
caracteristiques que vous avez dSfinies et les 
preuves dont vous aurez besoin a regard des 
normes sur lesquelles porte votre evaluation. 
Vous pouvez egalement y indiquer les 
sources deformation ou les methodes qui 
vous permettront d'obtenir les preuves 
recherchees. 

Les caracteristiques que vous avez retenues 
vous serviront de base pour poser des 
questions au sujet de la quality de votre 
programme. Lorsque vous aurez obtenu les 
preuves necessaires, vous serez en mesure 
de voir ou vous vous situez par rapport a la 
norme. 





Fe«8k de mull 2 : Lt* car*ctiri*lqo« *( It* preu*t* 
r*UU»«* k vo(r« programme 





















Une fois que vous vous pencherez sur les normes, vous pourrez vous retrouver avec 
une longue liste de caracteristiques et dt preuves, ce qui vous donnera peut-etre 
rimpression que vous allez devoir recueillir des quantites enormes d'information. 
Encore une fois, n'oubliez pas que rien ne vous oblige a aborder toutes les normes 
en meme temps. 

Vous vous apercevrez probablement aussi que la meme caracteristique correspond 
parfois a plusieurs normes. II existe souvent un lien entre differents aspects de la 
qualite d'un programme d'alphabetisation et on ne peut pas les dissocier. De la 
meme facon, une seule et meme preuve peut servir a confirmer la presence de 
plusieurs caracteristiques. Plusieurs normes font par exemple allusion a la 
participation des apprenantes et des apprenants, que ce soit a 1' elaboration de leur 
plan d'apprentissage ou a la planification et a 1'evaluation des activites liees au 
programme en general (par exemple la formulation de l'enonce de mission). Enfin, 
comme nous le verrons dans la section ci-apres traitant de l'etape suivante, la meme 
methode (par exemple des discussions de groupe ou des entrevues avec les 
apprenantes et les apprenants) peut vous permettre de recueillir bon nombre de 
preuves relatives a toutes sortes de normes. 

Par consequent, l'application des normes n'est pas une tache aussi formidable que 
cela peut paraitre a premiere vue. II est meme fort possible que vous serez en 
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me&ure d'aborder d'autres normes en plus de celles sur lesquelles vous aviez 
initialement decide de baser votre evaluation a Tetape 1 . 

N'hesitez par ailleurs pas a classer les normes dans un ordre different ou a 
regrouper des normes similaires, si cela peut vous aider. 

Exemples de plusieurs projets pilotes : Le projet pilote BEST de la 
Federation du travail de V Ontario, celui du conseil des ecoles separees 
catholiques (de langue anglaise) de Carleton et celui de La Cite Collegiate 
ont regroupe ou reorganise les normes de differentes fagons, afin de 
faciliter lew travail d' evaluation. 

3. Rassembler de {Information 

Maintenant que vous avez determine de quelles preuves vous avez besoin, comment 
allez-vous faire pour les obtenir? 

Les sources auprfcs desquelles vous pourrez trouver les preuves que vous cherchez et 
les methodes que vous pouvez utiliser pour les recueillir sont nombreuses, et aucune 
d'entre elles n'est absolument parfaite ni totalement exclue. La source et la 
methode que vous avez interet a retenir sont celles qui vous permettront d* obtenir le 
plus simplement possible les renseignements qu'il vous faut pour demon trer la 
qualite de differents aspects de votre programme. 

Voici quelques lignes directrices qui pourront vous aider a decider comment vous y 
prendre pour rassembler des renseignements : 

• Ne compliquez pas inutilement les choses 

Vous n'etes pas du tout obliges d'employer des methodes compliquees ou de 
vous lancer dans une collecte de donnees massive. Rien non plus ne vous 
oblige a recueillir des donnees «parfaites» — elles doivent seulement vous 
suffire a comprendre ce qui se passe et vous donner des idees sur les autres 
choses que vous pourriez faire. Tout ce qui compte vraiment, e'est de recueillir 
des renseignements que vous pourrez utiliser. Avant d'entamer la collecte de 
donnees, faites bien la distinction entre «les renseignements qu'il vous faut» et 
«les renseignements qui pourraient vous interesser». 

Le genre de recherche et devaluation qui vous est demandee est parfois assez 
compliquee, necessitant un gros investissement en temps et en energie, et parfois 



23 8 4 



Guide pour revaluation des programmes d'alphabgtisation 



COFAWI 



meme le recours a des specialistes. Le recours a des specialistes serait peut-etre 
justifie, mais si vous decidez de tout faire vous-memes, vous avez interet a 
proc&ler de la fa$on la plus simple possible, en vous concentrant sur une chose 
a la fois. Les organismes charges des evaluations pilotes ont beneficie de l'aide 
de chercheurs, vu qu'ils ont aborde toutes les normes a la fois. lis ont 6t6 
nombreux a rassembler des quantites phenomenales de donnees, qui ont par la 
suite 6x6 assez difficiles a consolider et a interpreter et qui ont engendre la 
publication de rapports tres volumineux. Vous pouvez tirer les le?ons de leur 
experience et vous efforcer de centrfcr vos activites devaluation le plus possible. 

• Commencez par examiner les renseignements que vous avez 

Vous devriez deja avoir quantite de donnees a votre disposition qui peuvent 
vous servir pour revaluation. Dans un premier temps, vous avez interet a 
determiner quelles donnees vous devriez conserver dans vos dossiers et sous 
quelle forme. Vous devriez par exemple y noter le nom des personnes inscrites 
a votre programme, leurs principales caracteristiques (y compris la 
representation proportionnelle de votre groupe cible), les formes d'apprentissage 
utilisees et enfin, l'assiduite et les progres des apprenantes et des apprenants, de 
meme que les objectifs qu'ils ont atteints. Ces donnees vous seront tres utiles 
lorsque vous redigerez les comptes rendus de vos discussions regulieres avec les 
apprenantes et apprenants ou avec les instructrices et les instructeurs, ou encore 
lorsque vous planifierez des reunions pour parler de la situation de votre 
programme par rapport aux normes. 

Bien souvent, il vous suffira de reprendre ces donnees pour y trouver les 
preuves dont vous avez besoin. Toutefois, dans certains cas, Texamen de ces 
donnees ne sera qu'un debut. Vous penserez vraisemblablement a differentes 
fa?ons d^ameliorer la presentation et le contenu de vos dossiers, par exemple en 
surveillant plus minutieusement les caracteristiques de vos apprenantes et 
appienants. De toute evidence, vous avez toujours interet a commencer par 
examiner les renseignements pertinents que vous avez deja avant d'en recueillir 
d^autres. Cela vous permettra de limiter le plus possible la collecte de nouvelles 
donnees. 

• L'echantillonnage 

Beaucoup de personnes pcnsent, a tort, que pour recueillir des donnees utiles et 
fiables, il faut interroger un vaste echantillon de personnes. En general, 
T interrogation d'un petit nombre de personnes suffit tout a fait. Si vous voulez 
par exemple savoir pourquoi une partie des apprenantes et des apprenants 
abandonnent votre programme, vous n'avez qu'a parler a quelqt r^s-unes des 
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personnes qui sont parties et non a Tensemble d'entre elles. Si vous voulez 
connaitre les methodes utilis6es pour ^laborer les plans d'apprentissage et 
^valuer les progrfcs des apprenantes et des apprenants, il n'est pas n^cessaire de 
vous pencher sur tous les plans d'apprentissage Stablis dans le cadre de votre 
programme, mais seulement sur quelques-uns d'entre eux. Si vous voulez 
savoir ce que les apprenantes et les apprenants pensent de votre programme, rien 
ne vous oblige a interroger tout le monde. Au contraire, le sondage d'un groupe 
reduit de personnes donne en g6n6ral de meilleurs resultats : assurez-vous 
simplement que votre echantillon est bien repr&entatif du groupe dans son 
ensemble. L'echantillonnage se fait soit au hasard, soit de fa?on systematique. 
Vous pourriez par exemple interroger les cinq premieres personnes qui ont 
abandonne votre programme dans chaque mois ou prendre la liste des tutrices et 
des tuteurs et choisir la 8 C , 16% 24 c personne etc., de huit en huit, pour leur 
parler. 

Le seul inconvenient d'un echantillonnage, c'est qu'il ne vous permet pas 
necessairement de donner r occasion a tout le monde de participer a revaluation. 
Cest pourquoi vous avez parfois interet a prevoir quelques questions que vous 
poserez a tout le monde ou a offrir aux personnes interessees la possibility de 
vous faire parvenir leurs observations directement. Vous pourrez tout de meme, 
au besoin, faire un sondage plus detaille aupres d'un nonibre restreint de 
personnes. 

9 La qualite importe plus que la quantite 

Comme nous Tavons deja dit, vous devez delimiter avec precision les 
renseignements dont vous avez reellement besoin. Si vous avez decide de faire 
un sondage, basez-le sur le moins de questions possible. N'interrcgez pas plus 
de personnes qu'il ne faut pour obtenir 1* information que vous recherchez. Le 
sondage n'en sera que plus facile a faire. Par la suite, vous aurez aussi moins 
de difficulte a analyser et a interpreter les donnees que vous avez recueillies. 
Vous saurez que vous avez parle a suffisamment de gens lorsque vous en serez 
a un point ou les reponses des personnes auxquelles vous parlez n*apportent plus 
rien de nouveau. En general, vous avez interet a vous tourner vers plusieurs 
sources pour trouver vos preuves, comme par exemple les apprenantes et les 
apprenants, mais aussi les instructrices et les instructeurs, mais ce n'est pas la 
peine d'adopter un processus complique. Au besoin, si votre premiere tentative 
pour rassembler de Tinfonnation ne vous permet pas de tirer des conclusions ou 
si elle souleve d'autres questions complementaires, vous pourrez toujours aller 
chercher d'autres renseignements. 
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« devaluation doit etre continue 

Prendre iu recul de temps a autre, exananer vos activity, les preuves que vous 
avez de la quality de votre programme et determiner ce que vous pourriez 
changer, tout cela a bien de la valeur. Pourtant, vous feriez mieux de vous 
interroger en permanence sur la qualite de votre programme. En effet, plus 
vous ferez devaluations continues, et moins vous aurez besoin d'aller 
specialement chercher des donnees pour revaluation. Vous pourriez par 
exemple passer en revue une demi-douzaine de plans d'apprentissage chaque 
mois, et peut-etre avoir un court entretien avec les instructrices et instructeurs et 
les apprenantes et apprenants concernes au sujet des progres realises par ces 
derniers, des difficultes qu'ils ou elles ont rencontrees et de ce que vous 
pourriez faire pour les aider. Si vous faites cela regulifcrement, vous n' aurez pas 
beaucoup d'autres renseignements a recueillir a r occasion d'une evaluation 
globale. 

Arrangez-vous pour incorporer revaluation de la qualite de votre programme a 
vos activit£s courantes. Vous pourriez par exemple prevoir du temps pour 
parler des questions devaluation et des preuves de la qualite de votre 
programme lors des reunions que vous avez habituellement avec les apprenantes 
et les apprenants pour discuter de sujets precis. A condition d* avoir pris des 
notes, il vous suffira peut-etre de reprendre T information que vous aurez 
obtenue et dont vous aurez discute durant ces reunions pour satisfaire aux 
besoins d'une evaluation et determiner dans quelle mesure votre programme 
respecte les normes de qualite. 

• S'il le faut, faites- vous aider 

S'il le faut, faites- vous aider pour choisir entre vos differentes options et pour 
etablir vos priorites. Quelqu'un qui a un peu de recul par rapport a votre 
programme pourra sans doute vous aider a decider quels sont les renseignements 
dont vous avez vraiment besoin et vous faire des suggestions quant a la fagon 
de faire pour les recueillir. La personne a qui vous avez r£gulierement a faire 
au COFAM, les responsables d'autres programmes d'aiphab&isation, et 
notamment des projets pilotes, les personnes associees a des programmes 
communautaires differents mais qui ont Thabitude de faire des evaluations ou 
encore une chercheuse ou un chercheur qui travaille dans votre collectivite, voila 
autant d'exemples de personnes qui pourraient vous aider. 
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a. Les methodes devaluation 

Les organismes charges des projets pilotes ont utilise plusieurs methodes 
devaluation, a savoir : 

♦ l'examen des dossiers du programme 

♦ T observation 

♦ les entrevues 

♦ les discussions de groupe 

♦ ies sondages 

Les paragraphes qui suivent font un rapide tour d* horizon de ces differentes 
methodes. 

• L'examen des dossiers du programme 

Nous avons deja parle de Tutilite de vos dossiers et des renseignements qu'ils 
contiennent a la page 24. Des dossiers bien tenus sont la source la plus 
facilement accessible, et parfois la seule source disponible, pour trouver des 
preuves sur les activit6s du programme, a quoi elles servent et ce qu'elles 
permettent d'accomplir. Une observation qui revient souvent dans les rapports 
des projets pilotes, c'est que des dossiers mieux tenus facUiteraient 
considerablement les evaluations et pourraient fournir quantite de 
renseignements trfcs utiles sur le programme. 

Les dossiers et documents qui peuvent servir a revaluation sont tres varies. 

Exemple d'un projet pilote : Le Tri County Literacy Council a base son 
evaluation sur toutes sortes de dossiers et de documents, y compris les 
fichiers des apprenantes et des apprenants, les fxchiers des tutrices et 
des tuteurs, les fichiers et les rapports du personnel administratis 
diverses publications (brochures, bulletins etc), le registre des messages 
telephoniques, les livres comptables et enfin les enonces de ses 
politiques et de ses procedures. 

• L'observation 

Le personnel des programmes d'alphabetisation a souvent recours a 
T observation pour essayer de savoir si leurs programmes fonctionnent bien. A 
condition d'etre quelque peu structures l'observation peut aussi servir de source 
de renseignements pour revaluation. 
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L' observation peut par exemple vous fournir des renseignements sur : 

• Tetendue de la participation des apprenantes et des apprenants aux 
activites liees au programme, notamment en matiere de planification; 

• la fa?on dont le programme manifeste son respect envers les 
apprenantes et les apprenants; 

• le genre de soutien apporte aux apprenantes et aux apprenants; 

• la disponibilite et l'apport d'un soutien special aux apprenantes et aux 
apprenants qui ont des besoins particuliers; 

• T interaction entre le personnel du programme et les apprenantes ou 
apprenants; 

• la tenue de certains dossiers ou registres, comme par exemple le registre 
des presences. 

L' observation peut s'averer tres utile pour mettre le doigt sur certains 
problemes, meme lorsqu'elle est improvisee, mais elle vous sera surtout utile si 
vous determinez a l'avance ce que vous esperer trouver comme renseignement 
et si vous avez prepare la fa?on dont les personnes chargees de T observation 
enregistreront ce qu'elles voient. S'il s'agit par exemple d'observer dans quelle 
mesure les apprenantes et les apprenants participent a la planification du 
programme, il faut bien entendu compter combien d'entre eux sont presents, 
mais aussi noter tout indice qui pourrait servir a confimier que leur participation 
est «significative». Les encourage-t-on a donner leur avis? Leur avis est-il pris 
en consideration? Vous pouvez confier le soin de faire ces observations a des 
personnes de l'extgrieur, a des membres de votre personnel, a des benevoles et 
meme a des apprenantes ou des apprenants, a condition de leur fournir un 
minimum de formation et de lignes directrices. 

Exemple d'un pro jet pilote : Le Conseil des ecoles separees catholiques 
du district de Sudbury a entre autres eu recours a V observation des 
apprenantes et des apprenants dans son evaluation. II avait etabli 
d'avance une liste de questions auxquelles V observation devait 
permettre de repondre. II a par ailleurs donne aux apprenantes et aux 
apprenants le choix de participer a un sondage en repondant aux 
questions posees par une enqueteuse ou un enqueteur ou en remplissant 
un questionnaire. La plupart ont opte pour I f entrevue. 
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• Les entrevues 

Les entrevues peuvent se dSrouler face a face ou au telephone. Elles peuvent 
prendre la fonne d'une conversation amicale ou suivre un questionnaire tres 
d6taill6. Les entrevues presentent plusieurs avantages majeure. La fa$on la plus 
simple de communiquer avec une autre personne, c'est de lui parler. Si 
quelqu'un ne comprend pas une question, vous pouvez la lui expliquer. Les 
entrevues vous permettent aussi d'approfondir certaines questions, autrement dit 
d'inviter la personne a qui vous parlez a vous donner plus de precisions sur ce 
qu'elle vient de dire ou a expliquer ce qui lui fait dire certaines choses. Elles 
peuvent aussi servir a tirer des personnes timides ou reservees de leur mutisme 
habituel et a les encourager a dire ce qu'elles pensent, a leur fa?on. Les 
entrevues individuelles sont de loin preferables aux entrevues en groupe si vous 
voulez poser des questions personnelles auxquelles les personnes int£rrogees 
hesiteraient a repondre en presence d'un groupe, notamment les questions 
relatives a leurs propres progres. 

Les entrevues individuelles exigent parfois plus de temps et d' efforts que les 
autres methodes de collecte de donnees. Par ailleurs, Tenqueteuse ou 
Tenqueteur risque toujours, meme par inadvertance, poser les questions d'une 
fagon qui traduit un pr^juge ou qui mene la personne interrogee a repondre 
d'une certaine fagon plutot que d une autre. Pour reduire ce risque le plus 
possible, il suffit de fournir un minimum de formation a la personne qui menera 
les entrevues, de lui remettre un guide ou une liste de questions preparees a 
Tavance, et de lui donner Toccasion de faire des essais de sondage avant de 
commencer serieusement a appeler des gens. 

Les entrevues peuvent vous permettre de recueillir les observations de diverses 
personnes, aussi bien des apprenantes et des apprenants que des benevoles ou 
encore des instructrices et des instructeurs. Vous devez faire attention a ce que 
Techantillon de personnes auxquelles vous allez parler soit representatif. Vous 
pouvez aussi mener vos entrevues avec des «personnes-clef», autrement dit des 
personnes capables, du fait de leur position, de vous fournir un certain type de 
renseignements, Vous auriez par exemple interet a interroger la personne 
chargee de la mise au point et de Texecution de la campagne d*extension des 
services de votre programme pour apprendre comment elle a fait son travail ou 
encore a la repre^entante ou au representant d*un autre organisme 
eommunautaire ou educatif qui a le plus de contact avec les responsables de 
votre programme ou avec vos apprenantes et apprenants. 
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L'art d'obtenir des reponses deiaillees et honnetes 

Les personnes qui participent k un programme d'alphabetisation ou k tout autre programme 
social hgsitent souvent & critiquer son contenu ou son personnel parce qu'il leur oflflre un service 
qu'elles appr&ient Dans un premier temps, lorsque vous demanderez k ces personnes de vous 
dire si elles aiment votre programme, elles auront tendance k vous dire ce que vous voulez 
entendre, autrement dit k r^pondre «oui», m6me si elles ont certaines reserves k son 6gard. 

Comment pouvez-vous encourager les apprenantes et les apprenants k vous dire le fond de leur 
pens6e? Cela depend en partie de votre attitude. Une chose qui contribuera certainement k les 
mettre en confiance et k vous parler plus librement est de leur expliquer k quoi revaluation doit 
servir, autrement dit les rassurer que vous voulez simplement connaftre les points faibles du 
programme pour y rem&iier et que vous ne chercherez pas de bouc 6missaire si quelque chose 
ne va pas. Dites-leur que leurs id^es, leurs suggestions et leurs critiques vous aideront 
beaucoup. 

Par ailleurs, il est prffSrable d'Sviter les questions qui appellent un simple oui ou non comme 
r£ponse, comme par exemple celle de savoir si les apprenantes et les apprenants aiment le 
programme ou leur instnictrice/instructeur ou s'ils ont eu l occasion de participer k la definition 
de leurs objectifs d'apprentissage. II vaut mieux leur demander de vous dire comment les 
choses se sont d£roul£es et de leur poser des questions compl&nentaires au fur et k mesure. 
Cela les encouragera k vous parler plus franchement. 

Faites aussi attention k bien choisir la personne qui m£ne les entrevues. En rfegle g6n6rale, il 
est preferable que ce ne soit pas leur propre instructrice ou instructeur, leur tutrice ou tuteur ou 
le membre du personnel k qui les apprenantes et les apprenants ont le plus souvent k faire qui 
leur pose les questions. Trouvez quelqu'un d'autre pour faire le sondage ou animer la 
discussion de groupe, de preference une personne interne k votre programme. Inanimation 
d'une discussion de groupe pourrait au besoin 6tre confiee k une personne de Texterieur. 



• Les discussions de groupe 

Les discussions de groupe reunissent un nombre restreint de personnes, en 
general de sept a douze, en vue de debattre d'un sujet particulier. Elles sont 
animees par quelqu'un dont le role est de s'assurer que personne ne s'eloigne 
trop du sujet, tout en permettant une discussion tres vaste. 

Les discussions de groupe s'averent tres utiles parce qu'il est bien connu que la 
plupart des personnes forment leurs opinions, leurs croyances et leurs decisions 
en societe. Beaucoup de gens ont de la difficulte a donner un avis bien clair sur 
un sujet tant qu'ils n'ont pas pu y reflechir et en parler avec d'autres personnes. 
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Les discussions de groupe sont done un excellent moyen d'explorer plus en 
details les attitudes et les croyances des gens. Elles permettent de mieux 
comprendre leur experience et leurs opinions a Tegard du programme 
d'alphab&isation et d' examiner d'autres points de vue. 

Animer une discussion de groupe n'est pas une mince affaire. II faut etre en 
mesure d'amener tous les membres du groupe a s'exprimer, meme les plus 
timides ou les plus renfermes et d'empecher une ou deux personnes de dominer 
le debat. Le*. i.^mateurs et animatnees doivent encourager les membres du 
groupe a exprimer des avis differents et a donner a la fois des details et des 
explications pour chacune de leurs declarations. Leur role est de veiller a ce 
que la discussion reste bien axee sur le sujet, sans pour autant influencer ce que 
les participantes et participants disent. Idealement, ranimatrice ou l'anima'eur 
devrait toujours avoir a portee de la main une liste de questions generates pour 
la discussion. La regie d'or consiste a poser principalement des questions 
ouvertes, auxquelles on ne peut pas repondre par un simple «oui» ou «non». 

Les discussions de groupe permettent de recueillir en peu de temps les avis de 
plusieurs personnes et de parler de quantite de choses en details. Toutefois, sauf 
exception, les discussions de groupe ne se pretent pas a r analyse d'experiences 
personnelles; au contraire, la dynamique de groupe comporte le risque 
d'encourager un certain conformisme. 

Dans certains cas, il est possible d'organiser des discussions au sein d'un plus 
grand groupe. Plus les membres du groupe sont nombreux, et plus il est 
difficile de rester sur le sujet et de donner a chacune et a chacun T occasion de 
s'exprimer, mais ce genre de discussion, meme au sein d'un grand groupe, reste 
une bonne source d'information et d'idees. Une solution serait de diviser un 
groupe nombreux en plusieurs «sous-groupes», pour donner la parole a un plus 
grand nombre de personnes. Meme en presence d'un grand nombre de 
personnes, les discussions de groupe restent Tune des meilleures fa9ons de 
donner a toutes les personnes qui s'interessent a un sujet T occasion de 
s'exprimer. 

• Les sondages 

Les sondages sont probablement la methode devaluation la plus courante. C'est 
en tous cas la methode utilisee par la plupart des projets pilotes. 

Les sondages sont le meilleur moyen de recueillir des donnees «quantitatives» 
aupres d'un grand nombre de personnes. Un sondage peut se faire soil par ecrit, 
auquel cas un questionnaire est envoye a un echantillon de personnes en leur 
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demandant de le remplir, soit verbalement, auquel cas une enqueteuse ou un 
enqueteur pose les questions a ce meme echantillon de personnes face a face ou 
au telephone. 



Quelle est la meilleure methode? 

La mgthode parfaite n'existe pas. Chaque m6thode a ses avantages et ses inconv^nients. 
Choisir celle qui vous conviendra le mieux relfcvera plus de Tart que de la science. Tout ou 
presque dSpendra du genre de questions que vous voulez poser. Voici n^anmoins quelques 
conseils d'ordre g6n6ral : 

• Commencez par les dossiers de votre programme. Rgflgchissez k la fagon de mieux les 
organiser de raani&re k y trouver davantage de r^ponses k vos questions devaluation. 

• Ensuite, menez des entrevues avec des apprenantes et apprenants presents et passes, des 
instructrices et instructeurs, des membres de votre personnel et des b6n6voles. N'oubliez pas 
que ces entrevues peuvent avoir lieu en personne ou au telephone et qu'il n'est pas 
n6cessaire d'interroger un grand nombre de personnes. 

• Pr^voyez une discussion sur revaluation k Toccasion d'une reunion sp^ciale ou 66jk pr6vue, 
comme par exemple une reunion ordinaire des apprenantes et des apprenants ou des 
instructrices et des instructeurs, afin de. donner k toutes et k tous la possibility de participer k 
revaluation. 



• Envisagez de tenir une ou plusieurs discussions de groupe si vous pensez que cela pourrait 
vous aider k cerner les raisons k la base de certains problfcmes el de trouver des solutions. 

• Effectuez un sondage si vous avez besoin de recueillir des renseignements auprfcs d'un grand 
nombre de personnes et si vous pensez que c'est k partir de donn&s quantitatives que vous 
pourrez le mieux comprendre le contexte et les raisons d'un probteme. 
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Helas, les sondages sont aussi tres repandus et pas toujours tres efficaces. A 
moins que la plupart des personnes a qui Ton fait parvenir un questionnaire ne 
le remplissent et ie renvoient, il est pratiquement impossible de savoir si les 
reponses obtenues sont representatives de Tavis des personnes qui n'ont pas 
repondu. II est aussi tres difficile de formuler des questions par ecrit de telle 
sorte que tout le monde les comprenne de la meme fa?on 1 et surtout de la fa$on 
dont vous le voulez. Enfin, ce n'est pas simple de choisir les questions et de 
decider de la maniere de les formuler pour eviter d'induire les personnes 
interrogees en erreur. Bref, theoriquement, les sondages permettent de recueillir 
davantage de renseignements, surtout de renseignements «quantitatifs» que 
d'autres methodes de collecte de donnees, a condition de faire attention a ce que 
la fa?on dont il est effectue et dont les questions sont formulees ne refletent 
aucune idee precon?ue. 
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II peut par ailleurs etre tres difficile, voire impossible, pour les personnes qui 
ont des capacit6s de lecture et d'ecriture limit£es de repondre a un questionnaire 
6crit, sauf si quelqu'un leur lit les questions et inscrit leurs reponses a leur 
place. A moins d'avoir envoye le questionnaire a des personnes qui ont 
Thabitade d'y r6pondre de cette fa$on, vous obtiendrez des renseignements plus 
significatifs si les personnes interrogees peuvent discuter du sens des questions 
et y repondre avec leurs propres mots. 

Si vous faites un sondage, veillez a ce que votre questionnaire soit bien 
pr6sent6, facile a lire et a remplir et aussi court que possible. Ne posez que le 
strict minimum de questions necessaires pour obtenir les renseignements qu'il 
vous faut et faites trfcs attention a leur formulation. Avec un peu chance, vous 
pourrez utiliser ou adapter des questions qui ont donne de bons resultats pour 
d'autres organismes. La plupart des projets pilotes devaluation ont utilise un 
questionnaire similaire. N'oubliez pas de toujours mettre votre questionnaire a 
Tessai avant de faire votre veritable sondage. Cette mise a Tessai consiste a lire 
les questions a quelques personnes en leur demandant comment elles les 
interprfctent. Vous pourrez ainsi modifier votre questionnaire au besoin pour 
etre bien certains d'obtenir Finfoimation que vous recherchez. Memes les 
specialistes des sondages mettent toujours leurs questionnaires a Tessai et les 
revisent en general plusieurs fois avant 
de les utiliser. 



b. La planification et Texecution de 
ia collecte de donnees 



FtygU 6* tr*v«n 3 : U colicctt ck t f lnform«Uon 




La feuille de travail 3 peut vous servir a 
noter les principales etapes de la collecte 
de 1* information : 



decidez quelles methodes vous 
allez utiliser (probablement 
plusieurs), puis determinez quelle 
preuve vous esperez trouver grace 
a chaque methode; 



etablissez un plan et un calendrier 
pour la collecte de T information; 
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• decidez quelles sont les personnes qui y participeront et definissez leurs 
responsabilites respectives; 

• mettez au point les instruments dont vous aurez besoin, et prevoyez assez de 
temps pour cette etape (les instruments comprennent le questionnaire d'un 
sondage, le guide ou les questions preparees pour les entrevues ou les 
groupes de discussion, et une liste de ^information a recueillir, que ce soit 
par Fexamen des dossiers du programme ou par V observation); 

• mettez vos instruments a Tessai, revoyez-les et modifiez-les, surtout si vous 
utiJisez un questionnaire a remplir par ecrit; 

• enfin, rassemblez T information dont vous avez besoin conformement a votre 
plan. 

4. Analyser I'information et en tirer les lesons 

a. L'analyse de rinformation 

Une fois que vous avez rassemble vos donnees «brutes», vous devez les interpreter. 
Les donnees quantitatives (chiffres) ou qualitatives (observations generates 
recueillies lors d' entrevues ou lors d'une discussion de groupe et qui sont parfois 
difficiles a quantifier) creent Tune comme r autre une avalauche de papier. Vous 
devez transformer ces donnees brutes en renseignements utT s. 

Ce sera plus facile si vous savez d'avance ce que vous cherchez. L'analyse des 
donnees recueillies, c'est un peu comme du travail de detective. A T&ape 1, vous 
aviez cerne les principals questions auxquelles vous vouliez repondre a Taide de 
revaluation. Vous pouvez maintenant vous servir de ces questions pour regrouper 
vos conclusions. 

Si vous voulez par exemple savoir ce que les apprenantes et les apprenants ont 
appris ou les progres qu'ils ou elles ont accomplis, vous pouvez commencer par 
rassembler les preuves dont vous disposez a cet egard. Ces preuves peuvent venir 
des dossiers du programme, de temoignages des instructrices et des instructeurs, 
des progres des apprenantes et des apprenants constates par I 9 observation, ainsi que 
d'autres indices concrets de ces progres. Est-ce que vous obtenez un resultat 
uniforme a partir de ces nombreuses sources? Est-ce que les apprenantes et les 
apprenants (Tun cote et le personnel du programme de Tautre sont d'accord sur la 
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question de savoir si le programme leur offre la possibility de definir leurs besoins 
en matiere de services de soutien? 

Cest a ce moment-la que commence votre travail de detective pour trouver, parmi 
les renseignements recueillis, la preuve qui laisse entrevoir les facteurs qui 
contribuent au progres dee apprenantes et des apprenants ou au contraire ceux qui 
Tentravent. Quels sont certains des facteurs qui semblent etre differents chez les 
apprenantes et les apprenants qui ont fait beaucoup de progres par rapport a ceux et 
a celles qui en ont fait tres peu? Est-ce que c'est par exemple le temps consacre a 
Tinstruction? Le materiel ou la m6thode didactique employes? L'interet que les 
apprenantes et les apprenants portent au programme ou leur engagement envers 
celui-ci? Inexperience prealable des apprenantes ou des apprenants? Les 
instructrices et les instructeurs, ou les affinites entre les apprenantes et les 
apprenants et les tutrices ou les tuteurs? La disponibilite d'un soutien special pour 
les apprenantes et les apprenants qui ont des besoins particuliers? Autre chose? 
Lequei de ces facteurs semble le plus important? Pourquoi? 

La feuille de travail 4 vous propose un 
tableau sur lequei vous pouvez noter vos 
principales conclusions et les sources des 
renseignements a la base de ces conclusions. 



• Les donnees quantitatives 

Les donnees quantitatives sont celles 
que vous pouvez compter ou mesurer. 
Elles proviennent le plus souvent des 
dossiers du programme (par. exemple 
vos registres de participation au 
programme, vos calculs sur le 
representation des groupes-cible ou vos 
registres de presence) et de divers 
sondages. 

Sauf exception, r analyse des donnees 
quantitatives ne pose pas de probleme. 
Commencez par totaliser les donnees dans chaque categorie, puis calculez les 
pourcentages. Supposons qu'une question de votre sondagc dernandait aux 
apprenantes et aux apprenants s'ils ont participe a Fetablissement de leurs 
propres objectifs : quel est le pourcentage d' entre eux qui ont repondu «oui»? 
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La prochaine chose a faire est de vous poser des questions sur les premieres 
donn^es que vous avez reunies. Si 60 % des apprenantes et des apprenants vous 
ont confirm^ qu'elles ou ils ont participe a r&ablissement de leurs objectifs, 
cela signifie que certaines personnes y ont participe et d'autres non. Pourquoi? 
II y a-t-il d'autres questions que vous pourriez analyser plus en details afin de 
mieux comprendre les raisons de votre conclusion initiate? Y a-t-il par exemple 
des differences suivant Tendroit ou le programme est offert (si vous disposez de 
plusieurs locaux), suivant rinstructrice ou Tinstructeur, suivant le niveau 
d' education des apprenantes ou des apprenants ou suivant tout autre facteur? 



Un conseil — Travaillez avec des medianes 



La fagon la plus courante d'obtenir une valeur centrale, c'est de calculer une moyenne en 
divisant un total par un nombre d'616ments. Le chiffre obtenu par ce calcul peut toutefois €tre 
trfcs trompeur, surtout en pr&ence de valeurs extremes. 

Imaginons par exemple que dans un petit village d'une centaine d'habitants, 95 personnes ont 
un revenu annuel de 10 000 $ et 5 personnes un revenu annuel de 100 000 $. Le revenu 
annuel «moyen>, des habitants de ce village est done de 14 500 $ — soit prfcs de 50 % 
supdrieur k ce que gagnent la plupart des gens. De toute Evidence, ce chiffre n'est pas trfcs 
significatif. 

De la m6me fagon, si 50 personnes ont participe k votre programme pendant 40 semaines durant 
Tann6e pass£e, alors que 5 personnes ont abandon^ le programme k la fin de la premiere 
semaine, la durte de participation «moyenne» k votre programme est de 20 semaines — un 
chiffre qui ne correspond pas k la r6alit6, ni pour Tun ni pour r autre groupe de personnes. 

La solution dans Tun comme dans r autre cas est de calculer la midiane. La m£diane est la 
valeur centrale, de part et d'autre de laquelle les valeurs sont r£parties en nombre 6gal. La 
m&iiane est g6n6ralement plus utile pour les calculs sutistiques que la moyenne. Dans le 
premier exemple ci-dessus, la m&iiane se situe k 10 000 $ et dans le second exemple, k 
40 semaines. 



Un gcart entre la moyenne et la m&liane vous alerte k r existence de differences majeures pour 
lesquelles vous devrez obtenir des explications. II est par ailleurs toujours bon de connaTtre la 
valeur la plus basse et la valeur la plus eiev£e. Lorsque l'lcart est trfcs grand, les raisons qui 
Texpliquent sont souvent plus importantes que la veritable «moyenne». 



Comme nous Tavons deja dit, les differences (ou ecarts) entre les reponses sont 
parfois plus importantes que les reponses qui se situent dans la «moyenne». 
Posez-vous des questions sur les raisons de ces differences. Si vous avez par 
exemple constate qu'une partie des apprenantes et des apprenants aiment le 
programme plus que d'autres, demandez-vous si d'autres differences separent 
autant les deux groupes en question. Si la plupart des personnes suivent le 

ERIC 36 97 



COFAM 



Guide pour revaluation des programmes d'alphab&isation 



programme jusqu'au bout, mais que quelques-unes l'abandonnent apr&s quelques 
jours, est-ce que vous pouvez reperer un facteur quelconque qui separe les deux 
groupes? Supposons, pour reprendre un exemple anterieur, que 60 % des 
apprenantes et des apprenants disent avoir particip6 a r&ablissement de leurs 
objectifs, alors que 90 % des instructrices ou instructeurs et des tutrices ou 
tuteurs disent qu'elles ou ils font participer les apprenantes et les apprenants a 
Tetablissement des objectifs, comment pouvez- vous expliquer cette difference/ 

• Les donnees qualitatives 

Les donn6es qualitatives sont des observations ou des descriptions generates 
auxquelles on ne peut pas facilement attribuer de valeur numerique. Vous vous 
retrouverez souvent avec quantite de notes qui au depart peuvent sembler 
impossibles a classer. 

En regie generate, la meilleure chose a faire avec les donnees qualitatives est de 
les regrouper par grand theme ou categoric Si vous avez par exemple pris des 
notes durant une discussion de groupe sur la formation des alphabetiseuses et 
des alphabetiseurs, vous avez interet a commencer par regrouper les remarques 
que vous avez notees par grands sujets, comme par exemple «apprendre a etablir 
de meilleures relations avec une apprenante ou un apprenant», devaluation des 
progrfcs», «aider les apprenants et apprenantes a se fixer des objectifs 
d'apprentissage» ou encore «collaborer avec les apprenantes et les apprenants 
qui ont des besoins particuliers». Ensuite, reprenez les remarques faites sous 
chacun de ces domaines, regroupez ceux qui vont ensemble, faites ressortir les 
differences, comme par exemple le fait qu'une partie des personnes interrogees 
voulaient obtenir davantage de services de soutien dans un certain domaine, 
alors que d'autres estiment que r assistance qu'elles re?oivent est plus que 
suffisante. 

N'oubliez pas de noter des arguments ou des citations qui pourraient vous aider 
a illustrer une donnee. Les chiffres ne sont pas toujours tres importants avec ce 
type de donnees. Par exemple une ou deux remarques seulement a propos d'une 
erreur dans le materiel didactique ou au contraire sur la fa?on dont quelqu*un a 
pu mettre en pratique une idee presentee dans le cours sont des renseignements 
tres utiles. 

Enfin, essayez de donner une importance relative aux differents sujets abordes et 
aux principaux arguments presentes. Vous avez d'ailleurs interet a en faire 
autant avec les donnees quantitatives. 
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Vous aurez parfois interet a codifier les donnees qualitatives que vous avez 
recueillies a l'aide de questions ouvertes, puis a les repartir suivant plusieurs 
categories, que vous pouvez ensuite compter. Supposons par exemple que vous 
etes curieux de savoir pourquoi certaines personnes abandonnent votre 
programme et que vous avez telephone a quelques-unes d'entre elles pour leur 
demander de vous dire, avec leurs propres mots, pourquoi elles sont parties. 
Meme lorsque les personnes interrogees utilisent leurs propres mots, vous 
devriez etre en mesure de regrouper les reponses similaires. 

Dans cet exemple, suivant ce que les personnes disent reellement, bien entendu, 
vous pourriez vous retrouver avec les categories suivantes : 

• le programme ne repondait pas zi leurs besoins; 

• elles n'aimaient pas Tinstructrice ou Tinstructeur; 

• le cours ne les interessait pas; 

• elles avaient du mal a trouver un moyen de transport pour se rendre au 
cours ou a faire garder leurs enfants; 

• tout leur temps est accapare par des problemes plus urgents; 

• elles ont demenage; 

• elles avaient le sentiment d* avoir atteint leurs objectifs; 

• elles sont parties s'inscrire a un autre programme educatif. 

Une fois que vous avez codifie les remarques et que vous les avez reparties 
dans les categories ci-dessus ou d^autres categories du meme genre, vous pouvez 
compter le nombre de remarques inscrites dans chaque categorie pour mettre en 
evidence les principales raisons pour lesquelles certaines personnes abandonnent 
le programme. Cette information illustre bien le probleme, le situe dans son 
contexte et vous aide a comprendre ce que ces differentes categories signifient. 
Elle peut aussi vous donner des idees sur ce que vous pourriez faire pour aider 
d'autres personnes a rester dans le programme. 
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b. Les 1090ns tirees de Pinformation 

La chose la plus importante est ensuite de decider ce que T information recueillie 
signifie pour votre programme. La conclusion s'imposera parfois de fa?on toute 
naturelle, surtout lorsqu'elle se rapporte a un probleme precis. D'autres fois, les 
retomb6es ne sont pas tout a fait 6videntes. 

Reprenez toutes les conclusions que vous avez tirees des renseignements en 
provenance de plusieurs sources et essayez de voir si elles component des 
similarity et des differences. Si la plupart des apprenantes et des apprenants, mais 
aussi des instructrices ou instructeurs et des personnes chargees de coordonner le 
programme disent essentiellement la meme chose au sujet de la participation des 
apprenantes et des apprenants a revaluation et a la revision de leurs objectifs 
d'apprentissage, ainsi qu'a la selection du materiel didactique, vous pouvez accorder 
plus de poids a cette information que si elle ne provenait que d'une seule source. 
Par contre, si differentes personnes vous disent des choses contradictoires, vous 
devrez essayer de savoir pourquoi. Quelquefois, il vous suffira de vous pencher a 
nouveau sur vos donn6es pour trouver la reponse. Vous pourrez aussi decider 
d'etudier la question de plus prfcs a une date ulterieure. 

Avant de tirer des lemons definitives de votre evaluation, vous feriez bien de voir s'il 
n*y a pas d'autres fa?ons d'interpr6ter les donnees que vous avez recueillies. S'il y 
en a, essayez de trouver de nouvelles preuves a Tappui de votre position. Si vous 
etes par exemple arrives a la conclusion que la participation a votre programme a 
contribu£ a renforcer Testime de soi des apprenantes et des apprenants, est-ce que 
quelqu'un pourrait attribuer ce changement a un autre facteur? Pouvez-vous au 
contraire apporter des preuves concretes du role que votre programme a joue dans 
cette transformation? Pareillement, est-ce que quelqu'un pourrait remettre en doute 
les progres accomplis par les apprenantes et les apprenants concernant leurs 
capacites de lecture et d'ecriture? Est-ce que vous avez au contraire des preuves a 
Tappui des progres de vos apprenantes et de vos apprenants? 

La feuille de travail 4 peut vous servir a dresser la liste des principales conclusions 
que vous avez tirees de revaluation et de leurs consequences pour votre programme. 
Rappelez-vous qu'il n'est pas necessaire de faire une longue liste. II suffit d*une ou 
de deux conclusions interessantes pour justifier tous vos efforts. 

Tirer les lemons des donnees recueillies et en pr6voir les consequences releve autant 
de Tart que de la science. Pour y parvenir, il faut parfois regarder «au-dela» des 
donnees. Dans certains cas % cette tache sera plus facile pour des personnes qui n'ont 
pas directement participe a la collecte de donnees. Vous pouvez aussi demander a 
une facilitatrice ou a un facilitateur de vous aider, comme a Tetape 1, a faire le tri 
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entre les conclusions importantes et moins importantes et a cerner les principales 
consequences auxquelles vous devrez faire face. 

Le moment est aussi venu de vous remettre en rapport avec les personnes que vous 
avez consult6es a Tetape 1 et de leur soumettre vos conclusions. II peut s'agir de 
personnes internes a votre programme, mais aussi de personnes externes a celui-ci 
qui soutiennent neanmoins ses activitds, comme par exemple des repr6sentantes ou 
representants d'autres organismes communautaires. Ainsi, toutes ces personnes 
pourront contribuer a cerner les principales conclusions de revaluation et leurs 
retombee sur votre programme. Cette demarche participative aidera par ailleurs 
r ensemble des intervenantes et des intervenants a se sentir une part de 
responsabilite dans ces conclusions et une certaine obligation a agir en consequence. 

5. Agir en consequence 

La principale raison justifiant le recours aux normes fondamentales de qualite et a 
revaluation de votre programme, c'est que cela vous permet de determiner ce que 
vous pourrez faire a Tavenir pour ameliorer la qualite et Tefficacite de vos activites. 

L'elaboration d'un plan d' action intervient des Tachevement de Tetape precedente, 
done des que vous avez d61imite les retombees que les conclusions de revaluation 
auront sur le programme. Vous pouvez d' ailleurs regrouper ces deux etapes. Ce 
qui compte a cette etape, e'est de passer des consequences generates aux mesures 
precises que vous allez prendre et de mettre en place des plans d' action. 

a. La constatation des mesures a prendre 

II pourra arriver que vos conclusions vous indiquent tres clairement ce que vous 
devriez faire. Si vous vous apercevez par exemple que personne n'a note les 
objectifs des apprenantes et apprenants lors de leur prise de contact avec le 
programme, ou que personne ne se met en rapport avec les apprenantes et 
apprenants qui ne viennent pas aussi souvent aux cours que convenu pour en 
connaitre les raisons, vous savez sans doute exactement quoi faire. 

Le plus souvent, toutefois, les resultats souligneront la necessite de faire quelque 
chose, mais vous aurez le choix entre plusieurs fa?ons d'agir en consequence. Si 
vous constatez par exemple que les apprenantes et les apprenants ne savent pas bien 
s'ils font des progres, la chose a faire serait peut-etre de changer votre methode 
devaluation de la performance, mais d'un autre cote, le point faible auquel vous 
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devriez remedier pourrait aussi etre la fa$on dont vous communiquez avec les 
apprenantes et les apprenants. Vous apprendrez peut-etre que les alphabetiseuses et 
les alphabetiseurs ont besoin d'aide pour evaluer les progres des apprenantes et des 
apprenants ou pour encourager ceux et celles qui prennent du retard sur leurs 
objectifs k rester dans le programme et a faire un effort suppl&nentaire. Vous 
pouvez dans ce cas prendre plusieurs types de mesures, par exemple modifier la 
formation des alphabetiseuses et des alphabetiseurs ou leur apporter d'autres formes 
de soutien. 

Surtout, ne laissez pas T absence d'une idee claire et nette de Taction a prendre vous 
empecher de faire quelque chose. Rien ne vous oblige a attendre d' avoir la 
certitude absolue qu'une mesure produira les resultats voulus pour essayer une 
solution et voir si elle arrange les choses. Vous pourrez toujours modifier votre 
solution par la suite si elle ne donne pas tout a fait les resultats voulus. Si vous 
avez vraiment de graves doutes quant a Tefficacite d'une nouvelle demarche, vous 
pouvez toujours F adopter de fa?on tres progressive ou pour une duree limitee. Vous 
pourriez par exemple mettre une nouvelle methode devaluation ou un nouveau 
materiel didactique a Tessai avec un petit nombre d'apprenantes et d' apprenants 
avant de les utiliser pour tout le monde. 

devaluation ne vous permettra pas de trouver une solution a tous vos probl&mes. 
Parfois, elle souleve meme plus de questions qu'elle n'en regie. En effet, le plus 
gros avantage de revaluation est la reflexion qu'elle suscite. Elle peut vous amener 
a vous occuper de choses auxquelles vous n'auriez peut-etre pas pense autrement. 
Quand on reflechit a la fa?on dont les choses fonctionnent et dont on pourrait les 
ameliorer, on a de bonnes chances de finir par trouver ce qu'il faut faire. 

Les conclusions de votre evaluation devraient vous servir de point de depart pour la 
suite. Elles vous permettent de savoir ce qui se passe avec votre programme, chose 
essentielle, mais il ne faut pas vous contenter de cette seule source d' information 
pour etablir vos plans pour Tavenir. Vous devez aussi essayer de connaitre les 
changements qui auront des repercussions sur votre programme, ses ressources et 
son avenir. Vous pouvez vous renseigner aupres d' Alpha Ontario, du COFAM, et 
differents organismes ou reseaux en alphabetisation pour savoir ce que d'autres ont 
fait dans une situation similaire a la votre. Si vous avez du mal a attirer des 
membres de differents groupes ethniques vers votre programme et a vous assurer 
qu'ils ou elles y restent jusqu'a la fin, vous vous demandez certainement comment 
d^autres ont fait pour remedier a ce probleme. Si vous decouvrez que votre materiel 
didactique a des lacunes ou que vous avez besoin d' utiliser du nouveau materiel, 
vous devrez vous renseigner sur les documents disponibles et essayer de savoir 
lesquels les autres fournisseurs en alphabetisation ont trouve utiles. 
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Votre comit6 devaluation pourra formuler des recommandations, mais c'est votre 
comite de direction* votre conseil d* administration (dans le cas des programmes 
communautaires) ou tout organe similaire qui doit decider des mesures a prendre a 
Tissue de revaluation. La participation de differents membres de votre programme 
a cette prise de decision est naturellement une bonne idee. Un processus participatif 
peut en effet vous aider a recueillir un plus grand nombre d'idees sur la suite a 
donner a revaluation et a vous constituer une base solide de soutien et de 
cooperation pour les changements a venir. 

b. L'execution de votre plan d'action 

Au moment de decider des mesures a prendre, vous devez revenir aux questions a la 
base de revaluation que vous avez definies a Tetape 1. Vous aurez en principe note 
sur la feuille de travail 1-C les questions precises concemant votre programme 
auxquelles vous vouliez essayer de repondre avec revaluation et la fa$on dont vous 
aviez rintention d'utiliser 1* information recueillie. Reprenez aussi les principales 
conclusions de revaluation et leurs consequences pour votre programme telles que 
vous les avez not£es a l'etape 4 et sur la feuille de travail 4. Les conclusions les 
plus importantes sont parfois tout a fait inattendues. 

Agir en consequence apres une evaluation signifie rarement qu'il faut modifier un 
programme de fond en comble. Pn regie generate, il vous suffira de faire quelques 
changements a la fois. Dans certains cas, les changements seront meme minimes. 

L* evaluation est aussi un excellent moyen de decouvrir ce qui fonctionne bien. 
Cette information peut alors vous servir de confirmation des domaines ou vous 
devez maintenir ou renforcer votre fa$on de faire. L' evaluation vous permettra aussi 
de donner a votre personnel et a vos benevoles un retour d' information qui sera tres 
apprecie. Comme tous ceux et toutes celles qui oeuvrent a I'alphabetisation, vous et 
vos collegues avez sans doute toujours les yeux braques sur ce qu'il vous reste a 
faire, sans jamais prendre le temps de voir ce que vous avez deja accompli. Les 
organismes charges des projets pilotes devaluation ont ete nombreux a constater 
que l*un des plus gros avantages de revaluation avait ete de leur permettre de 
documenter leurs realisations. L'information ainsi recueillie peut aussi servir a 
demontrer la valeur et les succes du programme aux personnes et organismes qui 
Tappuient et le financent. 

Si au bout du compte, votre programme se poursuit inchange, assurez-vous que c'est 
bien a la suite d'une decision explicite de votre part, autrement dit que vous serez 
en mesure de montrer qu'apres avoir examine la preuve et etudie les autres fa?ons 
de proceder, vous avez conclu que la meilleure solution etait de ne rien changer. 
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Jivitez a tout prix d'opter pour «la routine» par defaut. Meme si votre evaluation 
semble tout a fait favorable a ce que vous faites, il y a probablement quelque chose 
que vous pouniez changer. L'ouverture au changement est un signe de maturite et 
d'intelligence. 

line difficulty qui revient sou vent pour les programmes, c'est que malgre toute la 
bonne volonte (Tagir, les mesures prevues ne sont pas menees a execution. II peut y 
avoir plusieurs explications a cela, mais la principale raison d'une telle inertie est en 
general i'absence d'un plan d'action precis, 6non9ant clairement les personnes 
responsables des differentes etapes de son execution, avec des dates-limites, et 
T absence de toute verification que les choses ont bien ete faites comme prevu. 

Vous trouverez sur la feuille de travail 5 un 
formulaire tres simple pour noter les 
mesures que vous avez decide de prendre et 
pour en suivre r execution. II vous permet 
de noter votre plan d'action, le nom de la 
personne responsable de F execution de 
chacune de ses etapes et les dates-limites 
fixees pour r execution de chaque mesure. 
II donne aussi un aper$u tres clair de ce que 
vous avez decide de faire et quand. Cest la 
coordonnatrice ou le coordonnateur de votre 
programme, ou de preference le comit£ de 
direction ou le conseil d* administration de 
votre organisme qui devrait verifier que tout 
se passe bien comme prevu, dans les delais 
convenus. II peut y avoir de bonnes raisons 
de repousser les dates-limites, mais il faut 
toujours faire tres attention a ne pas perdre 
de vue votre plan d'ensemble. 

Enfin, dites au plus grand nombre de personnes possible ce que vous avez 
Tintention de faire. Le fait d'avoir fait connaitre vos intentions vous motivera 
certainement a tenir vos engagements. 
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6. Revoir et reviser 

Felicitations! Vous avez acheve revaluation de votre programme a 1'aide des 
normes fondamentales de qualite et vous avec decide des mesures que vous allez 
prendre pour tenir compte des conclusions que vous avez tirees de cette evaluation. 

Maintenant, qu'est-ce qu'il vous reste a faire? 
Vous n'avez plus qu'a recommencer! 

Comme le montre le diagramme a la page 7 
de ce guide, revaluation devrait etre un 
processus continu. A Tetape 5, vous avez 
decide des modifications que vous devriez 
apporter a votre programme en reponse aux 
conclusions de revaluation. II ne vous reste 
plus qu'a decider sur quoi votre prochaine 
evaluation devra porter et de quelle mani&re 
elle se deroulera. La feuille de travail 6 peut 
vous servir a pr6ciser vos projets concemant 
les prochaines evaluations. 

Comme nous Tavons deja indique, 
revaluation soul&ve parfois des questions inattendues au sujet de votre programme. 
Si vous avez decide de changer quelque chose au fonctionnement de votre 
programme, vous devrez d'abord mettre vos nouvelles methodes a Tessai. Si vous 
avez decide d'employer une nouvelle methode pour evaluer les progres accomplis 
par les apprenantes et les apprenants, vous aurez sans doute interet a vous assurer 
d'abord que la nouvelle methode donne de bons resultats. 

A I'etape 1, vous avez defini les questions prioritaires de votre evaluation et vous 
avez choisi plusieurs normes sur lesquelles vous vous etes penches en details. Est- 
ce que d'autres questions vous sont venues a Tesprit entre temps concernant la 
qualite de votre programme? II peut s'agir de questions toutes nouvelles ou de 
questions auxquelles vous aviez deja pense, mais que vous aviez decide de ne pas 
etudier pour le moment. 

Sur quelle autre norne devriez-vous a present baser votre nouvelle evaluation, afin 
de faire en sorte que votre programme soit toujours de la meilleure qualite possible? 
Compte tenu de cette premiere evaluation que vous venez de faire, avez-vous 
Tintention d'apporter des changements a vos caracteristiques et a vos preuves ou de 
simplifier et d'ameliorer T application des formes? 
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Pour terminer, n'oubliez pas d'evaJuer votre evaluation. Quels ont ete ses points 
forts et ses points faibles? Qu'est-ce que vous pourriez changer a Tavenir? Avez- 
vous par exemple et£ en mesure de respecter les dates qui figuraient sur votre 
calendrier d'ex6cution de revaluation? Pensez-vous que vous auriez mieux fait de 
poser un plus grand (ou au contraire un plus petit) nombre de questions? Quelles 
sont les methodes qui se sont av6i£es particulierement utiles ou qui au contraire 
vous ont donne de la difficulty et pourquoi? Est-ce que vous vous dites maintenant 
que vous auriez eu int£ret a mieux classer vos papiers? 

Exemple d'un projet pilote : CORE Literacy fait partie des projets pilotes 
qui ont decide de modifier leurs caracteristiques et leurs preuves apres les 
avoir mises a Vessai 9 notamment pour les simplifies Beaucoup de projets 
pilotes ont par ailleurs confirme quils s'efforceraient de mieux tenir leurs 
dossiers a I'avenir. 

Le plus gros avantage de revaluation est qu'il oblige a reflechir a ce qui fait la 
quali te d'un programme. Vous avez toujours interet a vous demander si votre 
programme fonctionne bien, ce qui vous fait dire que les choses vont bien ou non, 
et ce que vous pourriez faire autrement a Tavenir. Vous devez aussi vous interroger 
sur les retombees de vos activites pour les apprenantes et les apprenants de votre 
collectivity. Si vous aviez d6ja 1* habitude de rassembler regulifcrement certaines 
donnees en vue de les analyser, vous n'etes pas obliges d'attendre les resultats d'une 
evaluation officielle pour vous faire une bonne idee du fonctionnement de votre 
programme et des mesures que vous devriez prendre a son egard. 

devaluation et T amelioration de la qualite de votre programme ne sont pas des 
activites ponctuelles, mais bien au contraire des activites qui devraient se poursuivre 
en permanence. 
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Conclusion 



Ce guide contient des suggestions sur les differentes manieres dont les organismes 
d'alphabetisation de V Ontario peuvent se servir des normes fondamentales de qualite 
pour 6valuer leurs programmes. 

Les normes fondamentales de quality enoncent de fagon generate les elements qui 
font la quality d'un programme d'alphabetisation quel qu'il soit. Cest a vous de 
preciser ce qu'elles signifient pour vous. 

L'objectif essentiel de revaluation est d'aider les organismes d'alphabetisation a 
ameliorer leurs programmes. devaluation est un outil qui peut vous servir a 
examiner la qualite et Tefficacite de ce que vous faites, les raisons a la base des 
choses qui se produisent et la fagon dont vous pourriez ameliorer votre programme, 
devaluation est une composante essentielle d'une bonne gestion et d'une 
planification reflechie. 

Rien ne vous oblige a evaluer tous les aspects de votre programme en meme temps. 
Vous pouvez choisir parmi les normes fondamentales de qualite celles qui sont les 
plus importantes pour vous a Theure actueile et decider des renseignements que 
vous voulez obtenir au sujet du fonctionnement de votre programme. NTessayez pas 
d'arriver a une evaluation «parfaite». L* evaluation n'est fmalement qu'une fa?on 
plus systematique de faire les comparaisons, analyses, calculs ou autres que vous 
avez dans une certaine mesure deja Thabitude de faire de fa?on ponctuelle A .out au 
long de Tannee. 

Le plus gros avantage de revaluation, c'est quelle amene a reflechir a ce qui fait la 
qualite d'un programme et a la fa?on d*ameliorer celle-ci en permanence. Tirez le 
meilleur parti de revaluation, aussi bi^n pour votre organisme que pour vos 
apprenantes et apprenants : c*est un n?erveilleux outil qui vous permettra de toujours 
offrir le programme le plus pertinent et le plus efficace possible, et done d' aider un 
nombre croissant d'adultes de la province a ameliorer leurs capacites de lecture et 
d'ecriture. 
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Annexes 



Les feuilles de travail 



Feuille de travail 1-A 
Feuille de travail 1-B 
Feuille de travail 1-C 

Feuille de travail 2 



Feuille de travail 3 



Feuille de travail 4 



Feuille de travail 5 



Feuille de travail 6 



Le comite devaluation 

Les normes prioritaires pour revaluation 

Les questions a la base de revaluation 

Les caracteristiques et les preuves relatives a votre 
programme 

La collecte de T information 

Analyse de rinformation recueillie et interpretation 

Les mesures a prendre 

Reexamen, revision et mise a jour 



Pour en savoir plus . , . 

A. Les personnes qui peuvent vous renseigner ou vous conseiller 

B. Les publications relatives a revaluation 
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Feuille de travail 1 -A : Le comite devaluation 

1. Qui seront les membres de votre comite d'evaluation? Veuillez indiquer 
noms : 



2. Qui sera la presidente ou le president de ce comite? 

4. Le calendrier : 

l* rc reunion du comite 

Mise au point du plan d'evaluation 

Autre 



Collecte de V information 
necessaire a revaluation 

Analyse de V information 

Definition du plan d' action 

3. Quelles sont les autres personnes que vous voulez consulter durant la 
p5anification et Texecution de revaluation ou inviter a y participer? 

Internes a votre organisme/programme 
Externes a votre organisme/programme 
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Feuille de travail 1-B : Les normes prioritaires 

pour revaluation 



Commencez par reflechir a Timportance de chacune de ces normes pour votre 
programme ou a son ordre de priorite dans le contexte de votre evaluation. 
Inscrivez cet ordre de priorite dans la deuxieme colonne, en utilisant les codes 
suivants : £ (elev6e), M (moyenne) ou F (faible). Cochez dans la troisieme colonne 
les normes sur lesquelles porte votre evaluation actuelle. 



Norme 


Priorite 


it M, 
ou F) 


J 
V 


La mission du programme 








L* orientation communautaire 








L'engagement du programme envers les 
apprenantes et les apprenants 








L' engagement des apprenantes et des apprenants 
envers le programme 








Le respect des apprenantes et des apprenants 








Les methodes et approches axees sur l'apprenante 
et Tapprenant 








L'acces et requite 








L' evaluation des apprenantes et des apprenants 








Le temps d'apprentissage 








Le nombre d' apprenantes ou d* apprenants par 
alphabetiseuse ou alphabetiseur 








Le materiel didactique 








La formation des alphabetiseuses et alphabetiseurs 








L*extension des services 








Les services de soutien 








Les liens organisationnels 








La responsabilite du programme 








La responsabilite administrative 








L' evaluation du programme 
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Feuille de travail 1-C : Les questions a la base 

de revaluation 



Veuillez inscrire dans le tableau ci-dessous les questions precises concemant votre 
programme auxquelles vous voulez essayer de repondre avec cette evaluation. 
Indiquez en face de chaque question la ou les normeo sur lesquelles elle porte. 
Comment comptez-vous utiliser T information que les reponses a chacune de ces 
questions vous apporteront? 



Question devaluation 



Norme(s) 



Utilisation de 
r information 



ERJC 
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Feuille de travail 2 : Les caracteristiques ef les preuves 

relatives a votre programme 

Veuillez enum6rer, sur une feuille s6par6e pour chacune des normes, les 
caracteristiques que vous avez dtfinies et les sources d'information ou les m^thodes 
sur lesquelles vous vous baserez pour obtenir la preuve correspondant aux 
differentes caracteristiques. 



Norme : 



Caracteristique 



Preuve Source de 

renseignements 



Feuille de travail 3 : La coliecte de reformation 

1. Veuillez preciser les methodes que vous allez employer et la preuve que vous 
esperer obtenir a Taide de chaque methode. 



Methode 



Preuve 



i 

i 
i 
i 
i 
i 
i 
i 
i 



2. Precisez quelles seront les phases de T organisation et de T execution de la 
coliecte de 1* information, qui en sera charge et quand elles seront accomplies. 
Les phases ci-dessous ne sont que des exemples. 



Phase 


Responsable 


Dates de debut 
et fin 


Choix des methodes utilisees 






Conception du plan et des outils de 
coliecte de 1* information 






Essai preliminaire 






Mise au point du plan et des outils 






Coliecte de V information 
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I 
i 
I 
1 
I 
I 
I 
I 
1 
I 
I 
I 
I 
I 
I 
I 
I 
I 
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Feuille de travail 4 : Analyse de I'information recueillie 

et interpretation 

1. Veuillez enumerer, dans la colonne de gauche, les principales conclusions que 
vous avez tirees de revaluation a propos de votre programme, en les regroupant 
par theme, si possible. Dans la colonne de droite, indiquez les sources de 
I'information a la base de chacune de ces conclusions, par exemple «sondage 
des apprenantes et des apprenants» ou «observations des tutrices et des tuteursV 



Principales conclusions 



Sources de 1' information 



2. Veuillez enumerer les principales lecons que vous tirez de ces conclusions 



a. 



b. 



c. 



d. 
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Feuille de travail 5 : Les mesures a prendre 



Veuillez inscrire, dans la colonne de gauche, les mesures que vous avez decide de 
prendre en reponse a votre evaluation. En face de chaque mesure, dans la colonne 
du milieu, precisez le nom de la personne qui en aura la principale responsabilite. 
Enfln, dans la dernifcre colonne, inscrivez la date a laquelle vous pensez que chacune 
de ces mesures sera achevee. 



Mesure 


Responsable 


Date 
d 9 achievement 









ERIC 
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Feuille de travail 6 : Reexamen, revision et mise a jour 



Indiquez ci-dessous ce que vous evaluerez la prochaine fois, ainsi que les 
changements que vous approterez a Tavenir a votre methode devaluation 



1. Quelles sont les questions auxquelles vous tenterez de lepondre lors de la 
prochaine evaluation de votre programme (soit des questions que vous n'avez 
pas encore pu Studier ou des questions soulevees par les conclusions de 
revaluation que vous venez de faire)? 



2. Quelles sont les normes sur lesquelles portera votre prochaine evaluation? 



En reflechissant a votre methode d'evaluation, quels etaient ses points forts et 
quels etaient ses points faibles? Allez-vous changer la fa$on dont vous ferez 
vos prochaines evaluations? 

Les points forts de revaluation : 



Les points faibles de revaluation 



Compte-tenu de ce que vous avez fait jusqu'ici, allez-vous faire les choses 
autrement lors de vos prochaines evaluations, et si oui, quoi? 
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Pour en savoir plus... 



a. Les personnes qui peuvent vous renseigner ou vous conseiller 

Bon nombre de personnes peuvent vous donner des renseignements, des conseils et 
de T assistance concernant revaluation, n'hesitez done pas a vous mettre en rapport 
avec elles. Voici quelques personnes en particulier qui pourront repondre a vos 
questions, vous donner lew avis sur votre plan devaluation ou discuter avec vous 
en general : 



Ressource 


Type d y assistance qu'elle peut vous fournir 


Votre conseillere ou 
conseiller au COFAM 


Votre conseillere ou conseiller pourra vous aider de bien 
des fa$ons, notamment pour mettre au point votre plan 
devaluation et determiner quelles sont les autres 
nersonnes auxnuelles voii^ anri£*7 intprpt a narlpr Si r<*ttp 
personne rend visite a votre organisme, profitez-en pour 
aborder revaluation que vous allez faire. 


Les reseaux 
d'alphabetisation 


Le comite de planification de Talphabetisation 
communautaire de votre reseau constitue une bonne plate- 
forme pour discuter de revaluation des programmes avec 
d* autres organismes d'alphabetisation dans votre region. 
Plusieurs groupes d'encadrement, tels que le 
Regroupement des groupes francophones d'alphabetisation 
populaire de T Ontario (RGFAPO), le Comite Formation de 
base de TOntario (FBO) ou r Association de Teducation 
alternative pour les conseils scolaires francophones, 
pourront vous conseiller et vous aider, et notamment vous 
aider a communiquer avec d' autres organismes 
d'alphabetisation dans votre secteur, qui precedent a des 
evaluations similaires. 
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Ressource 


Type d 9 assistance qu'elle pent vous fournir 


Les autres organismes 
d'alphabetisation 


Les autres organismes d'alphabetisation sont egalement 
amenes a evaluer leurs programmes et ils rencontrent les 
memes difficultes que vous. Vous avez tout interet a 
discuter de vos methodes et a parler de vos experiences 
respectives en matifcre devaluation et a leur demander 
conseil a propos de problemes particuiiers auxquels vous 
vous heurtez. La meilleure idee serait sans doute de vous 
mettre en rapport avec un ou plusieurs des organismes qui 
a mene un projet pilote devaluation : ils ont deja eu 
r occasion d'etudier differentes applications des normes. 
Votre conseillfcre ou conseiller au COFAM ou les groupes 
d'encadrement vous diront lesquels des organismes qui ont 
mene des projets pilotes devaluation pourraient le mieux 
vous conseiller. 


Les autres ressources 
communautaires 


11 y a probablement plusieurs autres endroits vers lesquels 
vous pouvez vous toumer dans votre collectivite pour 
demander de Taide. L'evaluation des programmes n'est 
pas quelque chose qui ne se fait que dans le milieu de 
Talphabetisation. Au contraire, la plupart des programmes 
sociaux ou educatifs communautaires ou autres £valuent 
aussi regulferement leurs activites et ils pourront sans 
doute vous parler de leur experience et vous donner des 
conseils qui, s'ils ne sont pas toujours tout a fait 
pertinents, vous seront certainement utiles. Vous trouverez 
peut-etre aussi des professionnels de la recherche ou de 
revaluation au sein de votre collectivite auxquels vous 
pourriez faire appel, non pas pour faire revaluation a votre 
place, mais pour vous aider ou pour vous donner des 
conseils sur ses grandes etapes. 



b. Les publications relatives a I'evaluation 

Alpha Ontario est un bon point de depart si vous voulez savoir quels livres ou 
rapports ont ete publies concernant revaluation — ou pratiquement tous les autres 
sujets se rapportant a Talphabetisation : sa biblioth^que en est pleine et vous pouvez 
les emprunter. On y trouve aussi quantite de rapports devaluation concernant des 
programmes d'alphabetisation offerts en Ontario, ailleurs au Canada et dans le 
monde entier. Le personnel d' Alpha Ontario pourra vous aider a trouver les 
documents qui vous seront les plus utiles. Si vous avez un ordinateur et un modem, 
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vous pouvez consul ter le catalogue de sa bibliotheque a distance. Pour en savoiv 
plus, veuillez appeler Alpha Ontario au (416) 397-5902 ou au 1-800-463-7880 
(telecopies : (416) 397-5915). 

Les publications qui parlent de differents aspects de revaluation sont nombreuses. 
Malheureusement, elles sont pour la plupart assez techniques. Alpha Ontario publie 
deux guides dans lesquels vous pourrez peut-etre reperer des livres ou documents 
qui vous interessent : 

• En vedette : revaluation de programme. Cette liste est un extrait du 
catalogue de la bibliotheque d' Alpha Ontario sur laquelle figurent 
uniquement ses publications relatives a revaluation. 

• Annotated Bibliography on Evaluation. Cette bibliographic (en cours de 
preparation) signale certaines publications particulierement interessantes 
concernant revaluation disponibles aupres d' Alpha Ontario, avec un bref 
commentaire sur chacune d'elles. 

Les livres ci-apres pourront peut-etre aussi vous aider a planifier et a executer vos 
activites devaluation : 

American Council of Voluntary Agencies for Foreign Service. Evaluation 
Sourcebook for Private and Voluntary Organizations. New York, 1983. 

Cet ouvrage peut s'appliquer a toutes sortes de programmes 
communautaires, mime s'il s'adresse specifiquement aux organismes 
benevoles d'assLtance aux pays en voie de developpement. II accorde une 
grande place a revaluation participative sous toutes ses formes, en donnant 
de nombreux exemples de methodes tres simples pour effectuer ce type 
d* evaluation. 

Conseil ontarien de formation et d' adaptation de la main-d'ceuvre. Normes de 
qualite pour Talphabetisation des adultes : Guide de Talphabetiseuse et de 
Talphabetiseur sur le Cadre de responsabilisation du systeme d'alphabetisation 
des adultes et les normes fondamentales de qualite des programmes, Toronto : 
COFAM, 1995. 

Cette publication decrit le cadre de responsabilisation et les normes de 
qualite des programmes. Elle enonce aussi ce que le COFAM attend des 
programmes d'alphabetisation et donne quelques indications quant a la 
maniere d'appliquer les normes. 
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Dery, Lucie, devaluation. Cahier 6. Alpha communautaire chez les Franco 
ontariens, 1989. 



Cette publication fait partie d'une serie de cahiers sur le fonctionnement et 
la gestion des programmes d'alphabetisation qfferts en Ontario. Elle 
aborde certaines des raisons de proceder a leur evaluation etfait un rapide 
tour d 9 horizon des methodes que Von peut utiliser a cette fin. 

Ellis, Diane; Reid, Gayla; et Barnsley, Jan. Maintenir le CAP : guide 
devaluation pour les groupes communautaires. Vancouver: The Women's 
Research Centre, 1990. 

Cet ouvrage explique aux groupes communautaires comment faire leur auto- 
evaluation suivant une methode participative. II decrit les differentes etapes 
de revaluation, avec quantite d'exemples et de modeles. II ne traite pas 
d'alphabetisation, mais il contient tout de mime beaucoup d'idees qui 
peuvent sappliquer aux programmes d'alphabetisation communautaire. 

Nadeau, Marc-Andre, devaluation de programme : Theorie et pratique. 
Quebec : Les Presses de TUniversite Laval, 1990. 

// s'agit la d'un ouvrage tres complet sur revaluation des programmes. II 
discute de plusieurs modeles devaluation, a quoi Us peuvent servir, ainsi 
que des methodes et des techniques que I 'on peut utiliser. On y trouve 
aussi une longue liste de renvois a d'autres publications. 

Patton, Michael Quinn. Practical Evaluation. Newbury Park, Cal: Sage 
Publications Inc., 1982. 



Per sonne ne parle devaluation avec plus de verve que Patton. Ce livre 
abonde de recits, de fables et d'exemples qui illustrent les moindres petits 
cotes pratiques de differentes methodes devaluation, notamment les 
entrevues, les questionnaires et les systemes integres de gestion. Patton a 
publie deux autres ouvrages sur le meme theme, intitules Utilization- 
Focused Evaluation (Sage, 1986) et Qualitative Evaluation and Research 
Methods (Sage, 1990). 
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